python分批定量读取文件内容,输出到不同文件中的方法
作者:yiranxijie 发布时间:2021-10-05 21:29:30
标签:python,读取,文件
一、文件内容的分发
应用场景:分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中
# coding=utf-8
# 分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中
txt_path = "E:/torrenthandle.txt"
base_path="E:/torrent_distribution/"
def distribution( ):
f = open(txt_path,"r")
lines = f.readlines()
f2=open(base_path+"1.txt","w")
content=""
for i in range( 1,len(lines) ):
if ( i%1000!=0 ):
content+=lines[i-1]
else:
content+=lines[i-1]
f2.write(content.strip('\n'))
block_path=base_path+str(i)+".txt"
f2=open(block_path,"w")
content=""
#最后的扫尾工作
content+=lines[i]
f2.write(content.strip('\n'))
f2.close()
f.close()
distribution( )
二、文件夹(目录)下的内容分发
应用场景:分批读取目录下的文件,每取1000条输出到一个新的目录当中
# coding: utf-8
import os
import shutil
sourcepath = "E:\\sample"
distribution_path = "E:\\sample\\distribution\\"
if __name__ =='__main__':
rs = unicode(sourcepath , "utf8")
count = 1
savepath = unicode(distribution_path+"1", "utf-8")
if not os.path.exists(savepath):
os.makedirs(savepath)
for rt,dirs,files in os.walk(rs):
for fname in files:
if ( count%1000!=0 ):
shutil.copy(rt + os.sep + fname,savepath)
#os.remove(rt + os.sep + fname)
else:
shutil.copy(rt + os.sep + fname,savepath)
#os.remove(rt + os.sep + fname)
savepath = unicode(distribution_path+str(count), "utf-8")
if not os.path.exists(savepath):
os.makedirs(savepath)
count+=1
来源:https://blog.csdn.net/u013863751/article/details/71719856
0
投稿
猜你喜欢
- 在这个简短的教程中,我会介绍将python列表转换为字符串的不同方法。为什么要将python列表转换为字符串?将python列表转换为字符串
- 我就废话不多说了,大家还是直接看代码吧~print({1, 2} > {1}) # True补充:Python——集合是一个非常之牛逼
- 我们知道现实中的数据通常是杂乱无章的,需要大量的预处理才能使用。Pandas 是应用最广泛的数据分析和处理库之一,它提供了多种对原始数据进行
- 菜鸟笔记首先读取的txt文件如下:AAAAF110 0003E818 0003E1FC 0003E770 0003FFFC 90AAAAF1
- 目录Python1 Python垃圾回收机制是什么2 元组和列表的区别3 元组可以作为字典的key?4 进程 线程 协程4.1 进程4.2
- 可以通过model.state_dict()或者model.named_parameters()函数查看现在的全部可训练参数(包括通过继承得
- python turtle自定义画布背景色turtle是python一个简单好用的绘图包,它可以通过设计坐标来实时控制绘图。安装很简单,一行
- 本文实例讲述了Python tkinter事件高级用法。分享给大家供大家参考,具体如下:先来看看运行效果:完整实例代码:# -*- codi
- 在平时的工作中,我们的目录有很多的视频文件,如果你没有一个好的视频分类习惯,在找视频素材的时候会很费时,通过对视频的分辨路进行分类可以在需要
- Python time模块时间获取和转换Time模块介绍Python的Time库可以进行时间相关的处理,如访问当前日期和时间,输出不同格式的
- 我们在Python中经常使用会用到matplotlib画图,有些曲线和点的形状、颜色信息长时间不用就忘了,整理一下便于查找。安装matplo
- 格式请使用 gif 或 jpg 或swf (flash)同一组广告请使用一种格式。命名命名方式:宽x高.图片格式x 必须小写 ; 图片格式
- 使用 scipy.signal 的 argrelextrema 函数(API),简单方便import numpy as np import
- 一、问题引发思考前阵子与同事探讨一个小需求时又遇到了按钮表示“动作”和表示“状态”间矛盾问题。想想这个问题多年前已经开始讨论了,所以在此整理
- 一个不错的js效果,实现了图片预加载,并实时显示图片加载进度。<script> var l=0; var i
- 介绍Trie树:又称为单词查找树,是一种树形结构,可以应用于统计字符串,会在搜索引擎系统中用于对文本的词频统计,下图是一个Trie树的结构,
- 思路复原魔方困难问题的分解:1、用合适的数据结构表示出三阶魔方的六个面以及每一面的颜色2、每一次不同旋转操作的实现3、复原时如何判断当前魔方
- Django处理Ajax发送的Get请求实例,Ajax优点在一是异步请求,无需等待响应就可以再次发起请求,而是局部刷新,避免整个页面刷新的网
- 如下所示:'''以下代码均为讲解,不能实际操作''''''博客园 I
- 一、制作播放器的思路制作一个多功能音乐播放器的思路确定播放器的需求和功能,例如支持哪些音频格式、播放列表管理、循环播放、暂停、进度条显示等等