如何使用pycharm连接Databricks的步骤详解
作者:NancyNancy_ 发布时间:2023-01-28 23:19:03
在本地使用pycharm连接databricks,大致步骤如下:
首先,为了让本地环境能够识别远端的databricks集群环境,需要收集databricks的基本信息和自己databricks的token,这些信息能够让本地环境识别databricks;接着,需要使用到工具 anaconda创建一个虚拟环境,连接databricks;最后,将虚拟环境导入pycharm。
(下面的图渣渣,因为直接拖进来的)
第0步:检查
检查java版本,需要时1.8开头的版本,如果不是,请到这里下载:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
第1步:收集databricks的信息
查看python版本 (还不知道怎么看,这里cluster的python版本为3.7)
查看Runtime Version
查看cluster ulr,解析出下面信息
生成token,点击这个小人-user setting
最后,这是我们收集到的所有信息
第2步:安装anaconda
如果已经安装anaconda,请略过这一步
没有安装,可以看这个教程
https://www.jb51.net/article/196286.htm
第3步:使用anaconda创建虚拟环境
下面的参数信息,使用第一步收集的信息
打开anaconda的命令行
创建一个3.7版本的虚拟隔离环境
conda create -n dbconnect python=3.7
使用环境
conda activate dbconnect
卸载pyspark,如果是新创建的环境,可以不用执行这步(这是为了确保,创建的环境不能有pyspark的包,因为会产生包的问题)
pip uninstall pyspark
下面开始安装包,但是为了让安装速度快一些,使用清华镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/
conda config --set show_channel_urls yes
查看是否切换到镜像
conda config --show channels
可以看到已经切换
安装connect包,第一步中确定的run的版本为6.4,故选择6.4.* (用公司的网络,下载很慢,我用自己的热点)
pip install -U databricks-connect==6.4.*
连接远端databricks,并输入第一步收集的相关信息
databricks-connect configure
测试是否已经连接上:
databricks-connect test
已经在启动节点了
查看databricks,可以看到
第4步:pycharm导入虚拟环境
打开pycahrm,点击setting
选择解释器,点击小齿轮的add'
选择刚才我们创建好的dbconnect
点击ok,可以看到已经选好了环境
不知道为啥连接不到远端的包,我的项目还需要在本地安装一些用的包
conda install scikit-learn==0.22.1
conda install pandas==0.24.2
conda install pyarrow==0.15.1
在pycharm测试运行一下:
import pandas as pd
import numpy as np
# Generate a pandas DataFrame
pdf = pd.DataFrame(np.random.rand(100, 3))
from pyspark.sql import *
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame(pdf)
print(df.head(5))
去databrick的cluster log看一下,已经启动了节点,正在运行
来源:https://blog.csdn.net/leafdown_/article/details/108745074
猜你喜欢
- 大家都遇到过验证码,随着灌水机的发展,验证码也是日新月异,验证码开始分了繁体简体,带着字母、符号,甚至开始了中文验证码,看到这样的验证码,估
- 搭建lnmp完lnmp环境后,测试时出现502报错,看到这个问题,我立刻想到是php-fpm没有起来,但是我用 ps -ef | grep
- UserAgent = Trim(Lcase(Request.Serve
- 本文实例讲述了JS实现合并json对象的方法。分享给大家供大家参考,具体如下:一、问题:求json对象合并的方法var a ={"
- 共4个页面:form.asp; chk.asp; num.asp; count.asp,得到一个随即数字。加密解密后成成XBM图片,利用 s
- 作为一名网站开发WEB前端工程师,对自己开发的网站项目应该尽可能地对其性能进行优化,现在互联网上搜索到的网站性能优化多是翻译转载自 Yaho
- 本文主要讲如何不依赖TenserFlow等高级API实现一个简单的神经网络来做分类,所有的代码都在下面;在构造的数据(通过程序构造)上做了验
- 1.简介: java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。 它包括两个类:Pattern和Ma
- 怎么增大MySQL数据库连接数,MYSQL数据库安装完成后,默认连接数是100,流量稍微大一点的论坛或网站这个连接数是不够哟用
- 本文实例讲述了PHP cookie,session的使用与用户自动登录功能实现方法。分享给大家供大家参考,具体如下:cookie的使用//生
- 前言值类型:所有像int、float、bool和string这些类型都属于值类型,使用这些类型的变量直接指向存在内存中的值,值类型的变量的值
- 本文实例讲述了PHP实现上传文件并存进数据库的方法。分享给大家供大家参考。具体如下:show_add.php文件如下:<?php &n
- 有的时候,操作大文件,或者取数,要很久,我们给脚本首尾添加一段代码就知道,这段代码整体的大致运行时间了。import timestart =
- 前言:在日常开发的过程中,有时候会临时用到一些简单的函数,她们的业务逻辑会相对简单,简单到并不值得让他们留下名字,这个时候,就很值得使用匿名
- 1.json_decode() json_decode (PHP 5 >= 5.2.0, PECL json >= 1.2.0)
- 我们将在下面的例子中使用这个 XML 文档。<?xml version="1.0" encod
- javascript 常见汉字转换成拼音,上下行排列,方便对比,速度快,你可以把代码复制到本地,作为一个不错的汉字转换拼音的工具!转换效果图
- SQL Server2005数据项的分拆与合并:参考示例如下:-- ====================================
- Python中为了方便程序直接生成exe文件,它存在一个pyinstaller库,使用这个库可以直接将.py程序生成exe文件。这个命令不是
- 问题:Python2获取包含中文的文件名是如果不转码会出现乱码。这里假设要测试的文件夹名为test,文件夹下有5个文件名包含中文的文件分别为