使用python进行拆分大文件的方法
作者：IBoyMan 发布时间：2022-06-23 17:54:04
标签：python,拆分,大文件
python按指定行数把大文件进行拆分
如图大文件有7000多万行，大小为16G
需要拆分成多个200万行的小文件
代码如下：
# -*- coding:utf-8 -*-
from datetime import datetime
def Main():
source_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/jz_yuanshi_list0206.txt'
target_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/split/'
# 计数器
flag = 0
# 文件名
name = 1
# 存放数据
dataList = []
print("开始。。。。。")
print(datetime.now().strftime('％Y-％m-％d ％H:％M:％S'))
with open(source_dir,'r') as f_source:
for line in f_source:
flag+=1
dataList.append(line)
if flag == 2000000:
with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
for data in dataList:
f_target.write(data)
name+=1
flag = 0
dataList = []
# 处理最后一批行数少于200万行的
with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
for data in dataList:
f_target.write(data)
print("完成。。。。。")
print(datetime.now().strftime('％Y-％m-％d ％H:％M:％S'))
if __name__ == "__main__":
Main()
结果如下：
总 * 生39个文件，最后一个文件行数760821，这样就OK啦
经测试16G文件所需时间如图：不到两分钟
来源：https://blog.csdn.net/IBoyMan/article/details/79419347
0
投稿猜你喜欢
译序：这篇文章是可用性大师 Jakob Nielsen 在10年前总结的，到今天仍然受用。通过这个时间跨度，可以得出，可用性话题不是某个时代- 图片外框特征参数: ①dashed：虚线②dotted：点虚线③solid：实线④double：双线⑤groove：沟
- 要想在不宽裕的页面展现丰富的内容，现在通用的做法使用tab，在一块区域通过tab切换来更换该区域的内容。这篇文章分析了tab设计很在理，今天
- 今天再为大家提供一种方法：不需要安装Excel也可以导入到我们的SQL Server数据库。首先用SQL Server自身的数据转换功能把E
- 代码如下:title=request("title") title=replace(title,"chr(3
- 字典的键 字典中的值没有任何限制， 可以是任意Python对象，即从
- python中return的用法1、return语句就是把执行结果返回到调用的地方，并把程序的控制权一起返回程序运行到所遇到的第一个retu
- 在大型的ASP项目中，很多的页面都涉及到分页、翻页功能。如果每个页面都写一个翻页的程序的话，这样的工作即降低了工作效率，也不利于工程的模块化
- 问： 如果数据表中有时间字段，现在要迁移到其他时区的服务器上，该如何处理呢?答：在高版本的mysqldump中，新增了一个选项：--tz-u
- 在asp中调用sql server的存储过程可以加快程序运行速度，本文介绍了asp使用存储过程的方法。1.调用存储过程的一般方法 先假设在s
- 我想没多少人敢保证写JavaScript能不用调试，那选择用什么方式调试会比较好呢？告别了我最爱的alert("MM")
- 来与大家分享。稍加改造就可以实现更强大的功能了。用下面的代码就可以简单的批量导出picasa相册的外链了。代码如下:<％@LANGUA
- 本文实例讲述了Python疯狂填词程序实现方法。分享给大家供大家参考，具体如下：题目如下：创建一个疯狂填词程序，它将读入文件，并让用户在该文
- /* --注意：准备数据（可略过，非常耗时） CREATE TABLE CHECK1_T1 ( ID INT, C1 CHAR(8000)
- 最近心血来潮加上有点闲情，动手写了第一个JavaScript版的俄罗斯方块Easy Tetris.先上Easy Tetris俄罗斯方块游戏截
- 例如1441，那么会产生“运行时错误”，报错信息类似下面：SessionID 错误 'ASP 0164 : 80004005'
- Java 实现class PrimeNumber{public static void main(String[] args) {long
- 引言从他人的错误中学习，通过本指南避免常见陷阱和坏习惯，提高你的 Go 编程技巧在 Go 语言中，就像在任何编程语言中一样，了解常见陷阱和坏
- SQL Server数据库的六个实用技巧：（一）挂起操作在安装Sql或sp补丁的时候系统提示之前有挂起的安装操作，要求重启，这里往往重启无用
- 我很久前在YAHOO上扣的代码，兼容性很好，在Windows下的主流浏览器中可以正常运行。大家先不要急着下载代码，你随时都可以下，我们来分
