Python基于read(size)方法读取超大文件
作者：我太难了008 发布时间：2022-06-06 12:27:15
标签：Python,read,size,方法,读取,文件
pyhon读取文件很方便,但是,如果文件很大,而且还是一行文件,那就蛋疼了. 不过还好有read(size)方法,这个方法就是每次读取size大小的数据到内存中
下面来个示例
def readlines(f, separator):
'''
读取大文件方法
:param f: 文件句柄
:param separator: 每一行的分隔符
:return:
'''
buf = ''
while True:
while separator in buf:
position = buf.index(separator) # 分隔符的位置
yield buf[:position] # 切片, 从开始位置到分隔符位置
buf = buf[position + len(separator):] # 再切片,将yield的数据切掉,保留剩下的数据
chunk = f.read(4096) # 一次读取4096的数据到buf中
if not chunk: # 如果没有读到数据
yield buf # 返回buf中的数据
break # 结束
buf += chunk # 如果read有数据 ,将read到的数据加入到buf中
with open('text.txt',encoding='utf-8') as f:
for line in readlines(f,'|||'):
# 为什么readlines函数能够使用for循环遍历呢, 因为这个函数里面有yield关键字呀, 有它就是一个生成器函数 ......
print(line)
测试文件text.txt
fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb钦铁杆jdlfdl|||tedsthfdskfdk
打印结果
fgshfsljflsjfls
fyhdiyfdfhn
fudofdb钦铁杆jdlfdl
tedsthfdskfdk
来源：https://www.cnblogs.com/z-qinfeng/p/12052007.html
0
投稿猜你喜欢
首先我们来看看原图：接着我们来看看效果图：通过分析我们不难发现以下特征：主要颜色为黑白灰边界线条较重相同或相近色趋于白色略有光源效果需要用到- 1. viper的介绍viper是go一个强大的流行的配置解决方案的库。viper是spf13的另外一个重量级库。有大量项目都使用该库，比如
- 前言 随机数可以用于数学，游戏，安全等领域中，还经常被嵌入到算法中，用以提高算法效率，并提高程序的安全性。平时数据分析各种分布的数据构造也
- 八皇后问题描述：在一个8✖️8的棋盘上，任意摆放8个棋子，要求任意两个棋子不能在同一行，同一列，同一斜线上，问有多少种解法。规则分析：任意两
- 写完调用天气接口的demo之后，小程序调用天气接口并且渲染在页面，顺便再调用了一下美图的接口API：美图APIurlwxml：<vie
- 前言：图像滤波是图像处理和计算机视觉中最常用、最基本的操作。主要是去除图像中的噪声，因为图像平滑处理过程中往往会使得图像变的模糊，因此又叫模
- 读取文件时报错：xlrd.biffh.XLRDError: Unsupported format, or corrupt file: Exp
- PHP Warning: strtotime(): It is not safe to rely on the system's t
- 项目中需要从Windows系统传输ISO文件到Linux测试系统，然后再Linux测试系统里安装这个ISO文件。所以就需要实现如何把文件从W
- 因一些特殊需求需要以参数的形式获取字典 * 定的值，网上搜了一下并没有特别好的实现(并没有太认真去找~),所以自己实现了一个，以供大家参考:)
- 文章参考自：link.前言最近学习python切片，时而醍醐灌顶时而云里雾里，今天终于弄清楚了 python切片 里面自己经常疑惑的地方，记
- MySQL中模式就是数据库SHOW DATABASES;show databases;罗列所有数据库名称CREATE DATABASE &l
- 一、为图片添加水印 代码如下:<％ Dim Jpeg ””//声明变量 Set Jpeg = Server.CreateObject(
- 国外有很多优秀的文章可以用来学习，我决定花些时间翻译。我并不知道这篇文章有没有人翻译过，原文名 10 Awful IE Bugs and F
- Celery （芹菜）是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器／进程／线程上执行任务调度。架
- 一、爬山法简介爬山法（climbing method）是一种优化算法，其一般从一个随机的解开始，然后逐步找到一个最优解（局部最优）。 假定所
- 有两个结构完全相同的表，由其中一个表插入另一个表中指定条件的数据，报如下错误： 仅当使用了列列表并且 IDENTITY_INSERT 为 O
- Scrapy下载图片项目介绍Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以通过定制化的修改来满足不同的爬虫需求。使
- 一、安装mongo plugs插件File->SettingPlugins查询Mongo选择Search in repositorie
- 以下的文章主要是对MySQL性能影响关系紧密的五大配置参数的介绍，我前几天在相关网站看见对MySQL性能影响关系紧密的五大配置参数的资料，觉
