利用pandas向一个csv文件追加写入数据的实现示例
作者：数据之美ya 发布时间：2022-04-09 14:51:56
标签：pandas,csv,追加写入
我们越来越多的使用pandas进行数据处理，有时需要向一个已经存在的csv文件写入数据，传统的方法之前我也有些过，向txt，excel文件写入数据，传送门：Python将二维列表（list）的数据输出（TXT，Excel）
pandas to_csv()只能在新文件写数据？当然不是！
pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。
df.to_csv('my_csv.csv', mode='a', header=False)
to_csv()方法mode默认为w，我们加上mode='a'，便可以追加写入数据。
pandas读写文件，处理数据的效率太高了，所以我们尽量使用pandas的进行输出。
下面让我们来看一下示例
# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
from multiprocessing import Pool
def merge(filename):
return pd.read_csv('./fun_data/'+filename)
if __name__ == "__main__":
file_list = os.listdir('./fun_data')
e1 = time.time()
pool = Pool(20)
result = pool.map(merge,file_list)
pool.close()
pool.join()
e2 = time.time()
print(e2 - e1)
for i in result:
i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
e3 = time.time()
print(e3-e2)
来源：https://blog.csdn.net/weixin_41888503/article/details/81205203
0
投稿猜你喜欢
0.背景在游戏的UI中，往往会出现这样的情况：在某个战斗副本中获得了某个道具A，那么当进入主界面的时候，你会看到你的背包UI上有个小红点（意- 凯撒加密就是通过将字母移动一定的位数来实现加密和解密。明文中的所有字母都在字母表上向后(或向前)按照一个固定数目进行偏移，被替换成密文。例如
- 一、语法错误异常：大多数的异常都不会被程序处理，都以错误信息的形式展现在这里二、异常处理while True: t
- 在使用keras搭建神经网络时，有时需要查看一下预测值和真是值的具体数值，然后可以进行一些其他的操作。这几天查阅了很多资料。好像没办法直接a
- write2vin 的 PPT原文路宛兮写的简介：本文解释了以下问题: 1.什么是用户体验？ 2.谁发明了这个术语？他想表达什么意思？ 3.
- 比如做一些高级的配置，还比如在客户端或远程执行数据库操作等工作时，ISQL是很方便的。比如入侵一台有SQL服务的主机，入侵SQL Serve
- 光学元件类平面反射镜是一种极为简单的模型，因为我们只需要考虑一个平面即可。但是除此之外的其他光学元件，可能会变得有些复杂：我们必须考虑光在入
- 在客户端请求的时候增加了自定义的http头，请求如下所示： 自定义http请求头var_dump(getallheaders);一
- 1、读取方法有按行（单行，多行连续，多行不连续），按列（单列，多列连续，多列不连续）；部分不连续行不连续列；按位置（坐标），按字符（索引）；
- 最近遇到一个情景，就是定期生成并发送服务器使用情况报表，按照不同维度统计，涉及python对excel的操作，上网搜罗了一番，大多大同小异，
- 需求：从服务器拷贝照片到本地，然后再从本地照片筛选照片。问题：从服务器拷贝到照片本地，太慢，速度只有20~30K，不能忍。然后想到，利用py
- 一、导包案例我们导入第三方库，可以使用import。那我们现在有一个需求，我需要动态输入一个模块名，然后导入，这应该怎么做呢？#!/usr/
- 1、 try-catch语句ECMA-262第3版引入了try-catch语句，作为JavaScript中处理异常的一种标准方式。语法：tr
- api文档 https://sms-activate.org/cn/api2要使用SMSActivateAPI库从sms-activate.
- 多行正则表达式是对象的只读布尔属性。它指定是否一个特定的正则表达式进行多行匹配，即，不管是否使用“m”属性创建。语法RegExp
- 今天用到了img.paste函数，就写篇笔记记录一下，方便回顾。做人脸检测，产生负样本的时候想把图片中人连部分用背景的某一部分替换掉，然后再
- 本文实例为大家分享了python机器学习实现决策树的具体代码，供大家参考，具体内容如下# -*- coding: utf-8 -*-&quo
- Python实现截屏的函数# -*- coding: cp936 -*- import time,Image import os, win3
- python是支持多线程的，主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块，threadin
- 来源：奥索网 桌面中心(二)数据库写入作者：elong 一、以下是数据库的写入的html程序，你可以加入密码功能。把密码做成变量发入下面那个
