配置python连接oracle读取excel数据写入数据库的操作流程
作者:万金油的kplin 发布时间:2024-01-14 02:30:31
前提条件:本地已经安装好oracle单实例,能使用plsql developer连接,或者能使用TNS连接串远程连接到oracle集群
读取excel写入数据库的方式有多种,这里介绍的是使用pandas写入,相对来说比较简便,不需要在读取excel后再去整理数据
整个过程需要分两步进行:
一、配置python连接oracle并测试成功
网上有不少教程,但大部分都没那么详细,并且也没有说明连接单实例和连接集群的区别,这里先介绍连接oracle单实例的方式,后续再补充连接oracle集群方式。
版本:
window 10 64位
python 3.6.8
cx-Oracle 7.3.0
安装流程:
1、使用pip安装操作oracle的包:
pip install cx_Oracle==7.3.0
2、手动配置cx_Oracle临时客户端:
注意这里电脑是64位的,使用的即时客户端也是64位的,32位的需要另外到下面的下载地址找一下
2.1、解压下面的文件
链接: https://pan.baidu.com/s/12iMCBjKvl-Lao9iOHMT-yw
提取码: pxmq
oracle即时客户端使用说明:
https://docs.oracle.com/en/database/oracle/oracle-database/19/lnoci/instant-client.html#GUID-6895DB45-97AA-4738-9959-BD677D610186
oracle即时客户端下载地址:
https://www.oracle.com/database/technologies/instant-client/downloads.html
2.2、放置到D盘某个位置,例如:
2.3、配置环境变量
控制面板——系统和安全——系统
2.4、重启电脑,让新配置的环境变量生效
2.5、测试配置是否成功
虽然导入cx_Oracle有红色波浪线,一般认为导入不成功,但这里可以先不管它,直接运行测试代码,没有报错说明没问题。
如果没有查到数据,也可能是该用户下没有emp表。
import cx_Oracle
import os
# 设置环境编码方式,可解决读取数据库中文乱码问题
os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'
# 用户名/密码@IP:端口/实例名
conn = cx_Oracle.connect('kplin/12sss3456@192.168.124.102:1521/ORCL')
cursor = conn.cursor()
try:
sql = 'select * from emp'
cursor.execute(sql)
ret = cursor.fetchall()
print(ret)
# cursor.commit()
except Exception as e:
print(e)
finally:
cursor.close()
二、使用pandas读取excel数据,使用sqlalchemy协助写入数据库
1、安装sqlalchemy,pandas
这里指定pandas版本是因为最新版的pandas在读写excel的时候会有些奇怪的报错,换成1.1.4版本即可。
pip install pandas==1.1.4
pip install sqlalchemy
2、准备一个excel表,命名为test.xlsx,写入以下测试数据
3、测试读取并写入数据库
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# date: 2021/3/14
# filename: excel_to_db
# author: kplin
import pandas as pd
from sqlalchemy import create_engine
from sqlalchemy import types
# conn_string='oracle+cx_oracle://user:pass@host:port/dbname'
conn_string='oracle+cx_oracle://KPLIN:654321@192.168.124.6:1521/ORCL'
engine = create_engine(conn_string, echo=False)
df = pd.read_excel('test.xlsx')
# if_exists有三个可选值,'fail':如果存在该表则报错,'append':如果存在该表则将数据追加到列尾,'replace':如果存在该表则替换
# df.to_sql('test', con=engine, if_exists='replace')
# 按上面这种写入方式name字段将被写成clob字段类型,
# 如果我们希望把name改为varchar2类型,怎么做?
# 我们可以利用sqlalchemy的types把name指定为varchar2()类型
len = df.name.str.len().max()
df.to_sql('test', engine, if_exists='replace', dtype={'name': types.VARCHAR(len)})
rows = engine.execute("SELECT * FROM TEST").fetchall()
print(rows)
来源:https://blog.csdn.net/Jacky_kplin/article/details/114908281


猜你喜欢
- 使用数据库的过程中,由于断电或其他原因,有可能导致数据库出现一些小错误,比如检索某些表特别慢,查询不到符合条件的数据等。出现这些情况的原因,
- 1.如果有ID字段,就是具有唯一性的字段 代码如下:delect table where id not in ( select max(id
- 一、函数的变量作用域和可见性1.全局变量在main函数执行之前初始化,全局可见2.局部变量在函数内部或者if、for等语句块有效,使用之后外
- 本文实例讲述了Python设计模式之代理模式。分享给大家供大家参考,具体如下:代理模式在一般形式上是一个类函数接口。代理可以是这些事物的接口
- 本文实例讲述了Python实现扩展内置类型的方法。分享给大家供大家参考,具体如下:简介除了实现新的类型的对象方式外,有时我们也可以通过扩展P
- <html><head><script type="text/javascript" sr
- 基本环境配置python 3.6pycharmrequestsparseltime相关模块pip安装即可确定目标网页数据哦豁,这个价格...
- 前言人脸处理是人工智能中的一个热门话题,人脸处理可以使用计算机视觉算法从人脸中自动提取大量信息,例如身份、意图和情感;而目标跟踪试图估计目标
- 环境准备卸载mariadbrpm -qa | grep mariadbrpm -e --nodeps mariadb-libs-5.5.60
- 一般情况下编译安装python环境需要执行以下步骤:下载源码包解压源码包安装配置编译以及编译安装TALK IS CHEAP, SHOW YO
- 1. 定义节点// Node 定义节点type Node struct { Data any
- 本文实例讲述了Python连接SQLServer2000的方法。分享给大家供大家参考,具体如下:http://pymssql.sourcef
- python全代码如下import reimport csvimport matplotlib.pyplot as pltx=[]y=[]m
- 为什么使用Python假设我们有这么一项任务:简单测试局域网中的电脑是否连通.这些电脑的ip范围从192.168.0.101到192.168
- 本文实例讲述了C#访问SQL Server数据库的实现方法。分享给大家供大家参考。具体如下:这里介绍一下用C#访问SQL Server数据库
- 引子首先说 正则表达式是什么?正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expres
- 前言为了避免代码泄露的风险,我们往往需要对代码进行加密,PyArmor 是一个用于加密和保护 Python 脚本的工具。它能够在运行时刻保护
- 一, 当新增节点后刷新当前节点node.loaded = false;node.expand(); //新建子节点是刷新一次本节点的展开请求
- 背景图像滤波的作用简单来说就是将一副图像通过滤波器得到另一幅图像;明确一个概念,滤波器又被称为卷积核,滤波的过程又被称为卷积;实际上深度学习
- Golang: 接收GET和POST参数GET 和 POST 是我们最常用的两种请求方式,今天讲一讲如何在 golang 服务中,正确接收这