如何在Win10系统使用Python3连接Hive
作者：陆勤_数据人网 发布时间：2023-08-10 07:00:39
标签：Python,Hive,win10
由于数据存放在大数据平台的Hive数据仓库中，我需要在Win10系统上利用Python3连接Hive，然后读取数据，进行探索、分析和挖掘工作。
我通过网上查找资料和实际测试，把Win10系统Python3成功连接Hive配置总结如下。
第一步：安装依赖库
pip install bitarray
pip install bit_array
pip install thrift
pip install thriftpy
pip install pure_sasl
pip install --no-deps thrift-sasl==0.2.1
提示：若是无法安装，也可以点击如下网址，
https://www.lfd.uci.edu/~gohlke/pythonlibs/
选择合适库的whl下载，然后进行本地化安装。
第二步：安装impyla库
我采用本地化安装方式，先下载impyla库的whl，如下图：
再安装
pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl
提示：上面的绝对路径根据你自己的情况而定
第三步：测试impyla库是否可以使用
from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas
若是运行通过，表示利用impala连接Hive配置成功。
简单示例：
从Hive的一张表读取100条记录，放到pandas的DataFrame里面。
参考代码：
from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas
conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()
参考资料
https://github.com/cloudera/impyla
来源：https://cloud.tencent.com/developer/article/1590983
0
投稿猜你喜欢
- 这篇文章主要介绍了JS图片懒加载的优点及实现原理,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以
- oracle wm_concat(column)函数使我们经常会使用到的，下面就教您如何使用oracle wm_concat(column)
- 无论使用int还是varchar，对于Status的多选查询都是不易应对的。举例，常规思维下对CustomerStatus的Enum设置如下
- 其实r 是只读，只能读不能写，这是很明确的，但是r+是可读写，变成r+后还没太明白到底加了什么，还是照样写不了，有没有这样的体验呢,如下代码
本文实例讲述了Python实现基于C/S架构的聊天室功能。分享给大家供大家参考，具体如下：一、课程介绍1.简介本次项目课是实现简单聊天室程序- #设a为字符串import timea = "2011-09-28 10:00:00"#中间过程，一般都需要将字符串转化
- expect脚本expect是什么expect是一个免费的编程工具，用来实现自动的交互式任务，而无需人为干预。说白了，expect就是一套用
- 本文实例讲述了基于JS实现html中placeholder属性提示文字效果。分享给大家供大家参考，具体如下：如何通过js实现html的pla
- DataTable dt = new DataTable(); dt = ds.Tables["All"].Clone(
- Python 是一种功能强大的语言，广泛用于自动执行各种任务。无论您是开发人员、系统管理员，还是只是想通过自动化日常任务来节省时间的人，Py
- 使用mysql二进制方式连接您可以使用MySQL二进制方式进入到mysql命令提示符下来连接MySQL数据库。实例以下是从命令行中连接mys
- 本文实例为大家分享了TensorFlow实现Logistic回归的具体代码，供大家参考，具体内容如下1.导入模块import numpy a
- 模块Python 模块（Module），是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和 Python 语句模
- 简介mplcursors包也可以为matplotlib提供交互式的数据光标（弹出式注释框），它的灵感来源于mpldatacursor包，可以
- <script> function isIPv6(str) { return str.mat
- 这篇文章主要介绍了Python基于内置库pytesseract实现图片验证码识别功能,文中通过示例代码介绍的非常详细，对大家的学习或者工作具
- 花了些工夫将碎片网部署到了SAE，中途遇到各类问题。感觉SAE看上去很美，实际上却并不是太成熟（至少python版如此）。下面记录下我遇到的
- 该语句的作用是：启用或禁用错误处理程序。一般用法如下：On Error Resume NextOn Error GoTo 0如果在您的代码中
- 记得以前写过一篇文章 php有效的过滤html标签,js代码,css样式标签: <?php $str = preg_replace(
- vue router路由嵌套不显示问题的解决方法，具体内容如下路由嵌套，vue2.0 router中嵌套路由不成功，如何解决？我先说下我的需
