利用pandas向一个csv文件追加写入数据的实现示例
作者：数据之美ya 发布时间：2022-04-09 14:51:56
标签：pandas,csv,追加写入
我们越来越多的使用pandas进行数据处理，有时需要向一个已经存在的csv文件写入数据，传统的方法之前我也有些过，向txt，excel文件写入数据，传送门：Python将二维列表（list）的数据输出（TXT，Excel）
pandas to_csv()只能在新文件写数据？当然不是！
pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。
df.to_csv('my_csv.csv', mode='a', header=False)
to_csv()方法mode默认为w，我们加上mode='a'，便可以追加写入数据。
pandas读写文件，处理数据的效率太高了，所以我们尽量使用pandas的进行输出。
下面让我们来看一下示例
# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
from multiprocessing import Pool
def merge(filename):
return pd.read_csv('./fun_data/'+filename)
if __name__ == "__main__":
file_list = os.listdir('./fun_data')
e1 = time.time()
pool = Pool(20)
result = pool.map(merge,file_list)
pool.close()
pool.join()
e2 = time.time()
print(e2 - e1)
for i in result:
i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
e3 = time.time()
print(e3-e2)
来源：https://blog.csdn.net/weixin_41888503/article/details/81205203
0
投稿猜你喜欢
1. 错误描述之前在学习Python的过程中，导入自己写的包文件时，与之相关的方法等都会被划红线，但并不影响代码执行，如图：看着红线确实有点- 前言我们知道在这个互联网时代，评论已经在我们的生活到处可见，评论区里面的信息是一个非常有趣和有争议的地方。我们今天，就来获取某技术平台的评论
- CentOS7服务器中apache、php7以及mysql5.7的配置代码如下所示：yum upgradeyum install net-t
- 先来看个实例#!/usr/bin/env python import sys def search2(a,m):
- 信号和槽机制是 QT 的核心机制，要精通 QT 编程就必须对信号和槽有所了解。信号和槽是一种高级接口，应用于对象之间的通信，它是 QT 的核
- 在Python3.6提供f-Strings新的字符串格式化语法。不仅更加可读、简洁，相比其他方式也不易造成错误，而且还更快。看完本文你将学习
- 问题描述项目中需要用到流程图，如果用js的echarts处理，不同层级建动态计算位置比较复杂，考虑用python来实现测试demo实现效果如
- 参考自官方文档参数注册尝试自己写GoogLeNet时碰到的问题，放在字典中的参数无法自动注册，所谓的注册，就是当参数注册到这个网络上时，它会
- python的try语句有两种风格一是处理异常（try/except/else）二是无论是否发生异常都将执行最后的代码（try/finall
- ASP实例代码，利用SQL语句动态创建Access表。留作参考,对在线升级数据库有用处.<％ nowtime = now()
- 前言：Event在python线程间同步是一种常用的方法，本博客以生产者线程和工作者线程为例说明Event在线程间进行10次同步的应用。im
- Google以其简洁的搜索框引领着互联网，搜索系统似乎成了每个网站必备品，甚至于是那些本身几乎是由静态页面组成的企业网站都要来个搜索功能，这
- 一、网络结构的可视化我们训练神经网络时，除了随着step或者epoch观察损失函数的走势，从而建立对目前网络优化的基本认知外，也可以通过一些
- 作者是一名沉迷于Python无法自拔的蛇友，为提高水平，把Python的重点和有趣的实例发在简书上。一、递归是指函数/过程/子程序在运行过程
- 片头语：因为工作需要，在CentOS上搭建环境MySQL+Python+MySQLdb，个人比较习惯使用Windows系统的操作习惯，对纯字
- 这篇文章主要介绍了Python遍历字典方式就实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友
- 淘宝的页面很复杂，如果使用分析ajax或者js的方式，很麻烦抓取淘宝‘美食'上面的所有食品信息spider.py#encoding:
- 本文实例讲述了python飞机大战pygame游戏框架搭建操作。分享给大家供大家参考，具体如下：目标明确主程序职责实现主程序类准备游戏精灵组
- 对于个人网站来说，受到建站条件的制约，Access数据库成了广大个人网站站长的首选。然而，Access数据库本身存在很多安全隐患，攻击者一旦
- 对于字典的操作，本篇介绍的是在其中添加值的方法，下面带来详细的介绍。1、通过键=值的方式进行添加。如果键存在，则会将旧的值进行覆盖，如果不存
