使用python的pandas库读取csv文件保存至mysql数据库
作者:Jesszen 发布时间:2024-01-22 00:26:19
标签:pandas,csv,python
第一:pandas.read_csv读取本地csv文件为数据框形式
data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')
第二:如果存在日期格式数据,利用pandas.to_datatime()改变类型
data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])
注意:=号,这样在原始的数据框中,改变了列的类型
第三:查看列类型
print(data.dtypes)
第四:方法一:保存至MYSQL【缺点耗时长】
利用MYSQLdb库,封装成一个类,实现创建表,添加数据的操作,缺点耗时长
class Jess_mysql():
"""
设置mysql类,实现创建数据框,表,及添加数据
"""
def __init__(self):
self.mysql=MySQLdb.connect(user=mysql_name,host=mysql_host,password=mysql_password,database=mysql_database)
self.conn=self.mysql.cursor()
def create_table(self,table_names,col_names):
"""
创建表
:param table_names: 表名
:param col_names: 列名,列表格式
:return:
"""
tables=' varchar(20),'.join(['%s'] *len(col_names))
sql_yuju='create table if not exists `{t}` ({v} varchar(20))'.format(t=table_names,v=tables)#字段需要标注格式
ss=sql_yuju %(tuple(col_names))
print(ss)
self.conn.execute(ss)
self.mysql.commit()
def add_data(self,table_name,col_names,col_data):
"""
:param table_name: 表名
:param col_names: 列名,字段名
:param col_data: 字段值
:return:
"""
colname=','.join(['%s']*len(col_names))
data=','.join(['%s']*len(col_data))
sql_yuju='INSERT INTO `{t}` ({name}) VALUES ({data});'.format(t=table_name,name=colname,data=data)
ss=sql_yuju%(*col_names,*col_data)
#print(ss)
self.conn.execute(ss)
self.mysql.commit()
第五:利用sqlalchemy的create_engine()方法
1、创建连接
import sqlalchemy
#engine=sqlalchemy.create_engine('mysql + mysqldb://root:123456@118.24.26.227:3306/python_yuny')
engine=sqlalchemy.create_engine('mysql+mysqldb://{user}:{password}@{host}:3306/{database}'.format
(user=mysql_name,password=mysql_password,host=mysql_host,database=mysql_database))
2、利用pd.io.sql.to_sql()
pd.io.sql.to_sql(frame=data,name='yunying',con=engine,index=False,if_exists='append')
注意相关参数的设置。
此外,保存到mysql中,需要注意日期格式的列,因为在mysql对应的field设置格式为varchar(20)后,原始的日期2015-8-9,写入数据库,只有2015,这需要两步操作。
a、上面第二目录的,利用pandas.to_datetime(,format='%Y-%m-%d') #format的格式要和原始字符2016-8-9格式一样
b、利用datetime库,实现format='%Y%m%d'
x=data.shape[0]
for i in range(x):
col_data=list(df.iloc[i,:])
col_data[1]=datetime.date.strftime(col_data[1],'%Y%d%m')
•这一步后,日期格式由原始的2016-6-2,转为20160606,就可以以写入数据库对应的字段【其字段类型varchar(20)】
第六:读取mysql的数据
df=pd.read_sql('select * from %s'%table_name,con=engine,index_col=None)
默认不设置索引列,可以自行指定索引列名。
总结
以上所述是小编给大家介绍的使用python的pandas库读取csv文件保存至mysql数据库网站的支持!
来源:https://blog.csdn.net/Jesszen/article/details/81839163
0
投稿
猜你喜欢
- 一、 基础使用1.1 logging使用场景日志是什么?这个不用多解释。百分之九十的程序都需要提供日志功能。Python内置的logging
- 前言:tkinter提供了3种布局管理方式:1、pack2、grid3、place每种布局管理器都非常有用,根据不同的需求,选择对应的布局方
- 前面我们简单的了解Django的一些工作原理,其中关于页面展示的内容,也全部都是视图(Views)返回的内容,那么我们也知道前端包括很多内容
- 这篇文章主要是想说,“引用只能指向具体对象而不能指向引用”//创建变量testArray 并引用数组 ["1&
- 目录程序的组织结构顺序结构对象的布尔值选择结构单分支结构小实验双分支结构小实验多分支结构小实验python代码的独特写法分支结构_嵌套if的
- 引言近期在好几个地方都看到meshgrid的使用,虽然之前也注意到meshgrid的用法。但总觉得印象不深刻,不是太了解meshgrid的应
- 1. Http标准库1.1 http客户端func main() {response, err := http.Get("http
- 我们需要做的第⼀件事情是获取 MNIST 数据。如果你是⼀个 git ⽤⼾,那么你能够通过克隆这本书的代码仓库获得数据,实现我们的⽹络来分类
- 本文先了解一个简单阈值函数,以了解一个阈值算法的具体参数。 然后比较不同阈值函数的区别。同样的,先用一副图说明本文重要大纲: #! usr/
- 1.方法详情:parametrize(argnames,argvalues,indirect=False,ids=None,scope=No
- Selenium 是一个可以让浏览器自动化地执行一系列任务的工具,常用于自动化测试。不过,也可以用来给网页截图。目前,它支持 Java、C#
- 一、步骤要从 JPEG 图像中获取经纬度信息,可以使用 Python 的 PIL(Python Imaging Library)库。以下是一
- 同样是做表格,但是有些人的表格就做的很好看。融合了之前所学不同模块的知识,来讲讲Django中生成表格的特殊方法。这里只是mark一下导出的
- 我们将要来学习python的重要概念迭代和迭代器,通过简单实用的例子如列表迭代器和xrange。可迭代一个对象,物理或者虚拟存储的序列。li
- Python 中的函数eval()?是一个非常有用的工具,在前期,我们一起学习过该函数点击查看:Python eval 函数动态地计算数学表
- 目前,SQL Server数据库有几个版本都在使用中,比如 7.0, 2000和2005,那么,在现实的工作和学习中,你很有可能会需要从以前
- BOF 指示当前记录位置位于 Recordset 对象的第一个记录之前。EOF 指示当前记录位置位于 Recordset 对象的最后一个记录
- import wx import imagesclass DemoTaskBarIcon(wx.TaskBarIcon): &nb
- 本文研究的主要是PyQt5打开文件对话框QFileDialog的代码示例,具体如下。单个文件打开 QFileDialog.getOpenFi
- 从大规模数据集中寻找物品间的隐含关系被称作关联分析或关联规则学习。过程分为两步:1.提取频繁项集。2.从频繁项集中抽取出关联规则。 频繁项集