如何使用pycharm连接Databricks的步骤详解

站长资源 2024/11/24 佚名

2 0 1

在本地使用pycharm连接databricks，大致步骤如下：

首先，为了让本地环境能够识别远端的databricks集群环境，需要收集databricks的基本信息和自己databricks的token，这些信息能够让本地环境识别databricks；接着，需要使用到工具 anaconda创建一个虚拟环境，连接databricks；最后，将虚拟环境导入pycharm。

（下面的图渣渣，因为直接拖进来的）

第0步：检查

检查java版本，需要时1.8开头的版本，如果不是，请到这里下载：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

第1步：收集databricks的信息

查看python版本 (还不知道怎么看，这里cluster的python版本为3.7)
查看Runtime Version

查看cluster ulr，解析出下面信息

生成token,点击这个小人-user setting

最后，这是我们收集到的所有信息

第2步：安装anaconda

如果已经安装anaconda，请略过这一步
没有安装，可以看这个教程
https://www.jb51.net/article/196286.htm

第3步：使用anaconda创建虚拟环境

下面的参数信息，使用第一步收集的信息
打开anaconda的命令行

创建一个3.7版本的虚拟隔离环境

conda create -n dbconnect python=3.7

使用环境

conda activate dbconnect

卸载pyspark，如果是新创建的环境，可以不用执行这步（这是为了确保，创建的环境不能有pyspark的包，因为会产生包的问题）

pip uninstall pyspark

下面开始安装包，但是为了让安装速度快一些，使用清华镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/
conda config --set show_channel_urls yes

查看是否切换到镜像

conda config --show channels

可以看到已经切换

安装connect包，第一步中确定的run的版本为6.4，故选择6.4.* （用公司的网络，下载很慢，我用自己的热点）

pip install -U databricks-connect==6.4.*

连接远端databricks，并输入第一步收集的相关信息

databricks-connect configure

测试是否已经连接上：

databricks-connect test

已经在启动节点了

查看databricks,可以看到

第4步：pycharm导入虚拟环境

打开pycahrm，点击setting

选择解释器，点击小齿轮的add'

选择刚才我们创建好的dbconnect

点击ok，可以看到已经选好了环境

不知道为啥连接不到远端的包，我的项目还需要在本地安装一些用的包

conda install scikit-learn==0.22.1
conda install pandas==0.24.2
conda install pyarrow==0.15.1

在pycharm测试运行一下：

import pandas as pd
import numpy as np

# Generate a pandas DataFrame
pdf = pd.DataFrame(np.random.rand(100, 3))

from pyspark.sql import *
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame(pdf)

print(df.head(5))

去databrick的cluster log看一下，已经启动了节点，正在运行

使用pycharm连接Databricks,pycharm连接Databricks

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“如何使用pycharm连接Databricks的步骤详解”

暂无评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月24日

如何使用pycharm连接Databricks的步骤详解

python 判断一组数据是否符合正态分布

python合并多个excel文件的示例

评论“如何使用pycharm连接Databricks的步骤详解”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接