配置python连接oracle读取excel数据写入数据库的操作流程
作者:万金油的kplin 发布时间:2024-01-14 02:30:31
前提条件:本地已经安装好oracle单实例,能使用plsql developer连接,或者能使用TNS连接串远程连接到oracle集群
读取excel写入数据库的方式有多种,这里介绍的是使用pandas写入,相对来说比较简便,不需要在读取excel后再去整理数据
整个过程需要分两步进行:
一、配置python连接oracle并测试成功
网上有不少教程,但大部分都没那么详细,并且也没有说明连接单实例和连接集群的区别,这里先介绍连接oracle单实例的方式,后续再补充连接oracle集群方式。
版本:
window 10 64位
python 3.6.8
cx-Oracle 7.3.0
安装流程:
1、使用pip安装操作oracle的包:
pip install cx_Oracle==7.3.0
2、手动配置cx_Oracle临时客户端:
注意这里电脑是64位的,使用的即时客户端也是64位的,32位的需要另外到下面的下载地址找一下
2.1、解压下面的文件
链接: https://pan.baidu.com/s/12iMCBjKvl-Lao9iOHMT-yw
提取码: pxmq
oracle即时客户端使用说明:
https://docs.oracle.com/en/database/oracle/oracle-database/19/lnoci/instant-client.html#GUID-6895DB45-97AA-4738-9959-BD677D610186
oracle即时客户端下载地址:
https://www.oracle.com/database/technologies/instant-client/downloads.html
2.2、放置到D盘某个位置,例如:
2.3、配置环境变量
控制面板——系统和安全——系统
2.4、重启电脑,让新配置的环境变量生效
2.5、测试配置是否成功
虽然导入cx_Oracle有红色波浪线,一般认为导入不成功,但这里可以先不管它,直接运行测试代码,没有报错说明没问题。
如果没有查到数据,也可能是该用户下没有emp表。
import cx_Oracle
import os
# 设置环境编码方式,可解决读取数据库中文乱码问题
os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'
# 用户名/密码@IP:端口/实例名
conn = cx_Oracle.connect('kplin/12sss3456@192.168.124.102:1521/ORCL')
cursor = conn.cursor()
try:
sql = 'select * from emp'
cursor.execute(sql)
ret = cursor.fetchall()
print(ret)
# cursor.commit()
except Exception as e:
print(e)
finally:
cursor.close()
二、使用pandas读取excel数据,使用sqlalchemy协助写入数据库
1、安装sqlalchemy,pandas
这里指定pandas版本是因为最新版的pandas在读写excel的时候会有些奇怪的报错,换成1.1.4版本即可。
pip install pandas==1.1.4
pip install sqlalchemy
2、准备一个excel表,命名为test.xlsx,写入以下测试数据
3、测试读取并写入数据库
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# date: 2021/3/14
# filename: excel_to_db
# author: kplin
import pandas as pd
from sqlalchemy import create_engine
from sqlalchemy import types
# conn_string='oracle+cx_oracle://user:pass@host:port/dbname'
conn_string='oracle+cx_oracle://KPLIN:654321@192.168.124.6:1521/ORCL'
engine = create_engine(conn_string, echo=False)
df = pd.read_excel('test.xlsx')
# if_exists有三个可选值,'fail':如果存在该表则报错,'append':如果存在该表则将数据追加到列尾,'replace':如果存在该表则替换
# df.to_sql('test', con=engine, if_exists='replace')
# 按上面这种写入方式name字段将被写成clob字段类型,
# 如果我们希望把name改为varchar2类型,怎么做?
# 我们可以利用sqlalchemy的types把name指定为varchar2()类型
len = df.name.str.len().max()
df.to_sql('test', engine, if_exists='replace', dtype={'name': types.VARCHAR(len)})
rows = engine.execute("SELECT * FROM TEST").fetchall()
print(rows)
来源:https://blog.csdn.net/Jacky_kplin/article/details/114908281
猜你喜欢
- 前言当我们使用pandas处理数据的时候,经常会遇到数据重复的问题,如何找出重复数据进而分析重复原因,或者如何直接删除重复的数据是一个关键的
- 本文实例讲述了python求解水仙花数的方法。分享给大家供大家参考。具体如下:一个N位的十进制正整数,如果它的每个位上的数字的N次方的和等于
- Python os 模块os是“operating system”的缩写,os模块提供各种 Pyth
- 文件名:Awa_temp.Class.asp 代码如下:<% 'Crazy蛙!模板操作类 '作者C
- 相信大家对阶乘都不陌生。不知道阶乘的可以看这里:一个数的阶乘:比如5的阶乘在python中大部分教程一般推荐用递归函数完成:#!/usr/b
- 如果遇到与文件许可有关的问题,可能数启动mysqld时UMASK环境变量设置得不正确。例如,当你创建表时,MySQL可能会发出下述错误消息:
- 目录一、安装Py2neo二、连接Neo4j数据库1. 使用graph.run执行Cypher语句创建节点2. 使用Node数据结构创建节点3
- 本文实例讲述了python简单文本处理的方法。分享给大家供大家参考。具体如下:由于有多线程的影响,c++项目打印出来的时间顺序不一致,导致不
- 在Numpy中经常使用到的操作由扁平化操作,Numpy提供了两个函数进行此操作,他们的功能相同,但在内存上有很大的不同.先来看这两个函数的使
- python的三种输出格式环境:pycharm + python3.81. % (不推荐使用)格式: 格式字符串% (输出项1,输出项2,&
- Javascript中的对像赋值与Java中是一样的,都为引用传递.就是说,在把一个对像赋
- 0x01 安装pyinotify>>> pip install pyinotify>>> import
- CategoricalDtype自定义排序当我们的透视表生成完毕后,有很多情况下需要我们对某列或某行值进行排序。排序有很多种方法。例如sor
- 今天我们来到了循环队列这一节,之前的文章中,我介绍过了用python自带的列表来实现队列,这是最简单的实现方法。但是,我们都知道,在列表中删
- 在对excel的操作中,调整列的顺序以及添加一些列也是经常用到的,下面我们用pandas实现这一功能。1、调整列的顺序>>>
- 2020年11月22日最新分享pycharm激活码,这次分享的pycharm激活码适用pycharm2020最新版及pycharm2019、
- 最近写一个小爬虫,需要拿到邮箱信息,发现拿不到,也不是ajax接口。最后查资料发现是被Cloudflare加密起来了,有加密肯定有解密。通过
- 计数器(Counter)是一个非常常用的功能组件,这篇blog以未读消息数为例,介绍了在 Django中实现一个高性能计数器的基本要点。故事
- 装了 Access 2003 安全更新 (KB981716) 之后 Access 打不开,office2003-KB981716-FullF
- 基本介绍约束用于确保数据库的数据满足特定的商业规则在mysql中,约束包括:not null,unique,primary key,fore