用Python读取几十万行文本数据
作者：accumulate_zhang 发布时间：2023-10-13 21:56:04
标签：python,读取,数据
我在使用python读取几十万行的文件中的数据，并构造字典，列表等数据结构时，再访问字典，列表时，一般都会出现内存不够的问题，然后只能循环读取几百行或者一定数量的行数来循环操作。
keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
for line in content[300*i:300*(i+1)]:
line=line.strip().split(' ')
if line[0] in keyword_list:
wordvec=' '.join(line)
print wordvec
f2.write(wordvec)
#print line
i+=1
我是这样读取的
应该还有很多好的方法，比如多线程等等。
做此记录只为了学习
来源：https://blog.csdn.net/accumulate_zhang/article/details/52705382
0
投稿猜你喜欢
- 随着网络的发展，网速和机器速度的提高，越来越多的网站用到了丰富客户端技术。而现在Ajax则是最为流行的一种方式。JavaScript是一种解
- 1. 简介 追踪某些软件运行时所发生事件的方法, 可以在代码中调用日志中某些方法来记录发生的事情一个事件可以用一个可包含可选变量数
- #-*- encoding: utf-8 -*-'''Created on 2014-4-24@author: Le
转PDF初始代码从文件夹中读取图片数据，然后将他们保存为PDF格式。不长，大概10行代码。from PIL import Imagefrom- 本文实例讲述了centos6使用docker部署redis主从数据库操作。分享给大家供大家参考，具体如下：目录结构：/redis
- 不知道大家有没发现DWMX中有一个和FW差不多的制作弹出菜单功能？这个功能允许用文字和图片做为主菜单，如果用文字的话要先做虚拟链接。下面简单
- rebase在git中是一个非常有魅力的命令，使用得当会极大提高自己的工作效率；相反，如果乱用，会给团队中其他人带来麻烦。它的作用简要概括为
- 在使用Matplotlib 绘制饼图的时候有些时候一些数据的比列太小在饼图呈现的效果不明显 很容易被覆盖，为了解决这个问题以下就是我个人的心
- 本文来给大家介绍一个php版淘宝网查询商品接口代码的例子，下面要改成你的信息的在代码后面都有说明了，同时sdk包我们也要官方下载。下载SDK
- 今天跟大家分享下selenium中根据父子、兄弟、相邻节点定位的方法，很多人在实际应用中会遇到想定位的节点无法直接定位，需要通过附近节点来相
- el-col-group"el-col-group" 是一个 Vue.js 函数式组件，允许您在 "el-ta
- 打包下载Pain.php <?php class Pain { public $var=array(); public $tpl=ar
- 用Python实现常规的静态网页抓取时，往往是用urllib2来获取整个HTML页面，然后从HTML文件中逐字查找对应的关键字。如下所示：i
- F查询在上面所有的例子中，我们构造的过滤器都只是将字段值与某个我们自己设定的常量做比较。如果我们要对两个字段的值做比较，那该怎么做呢？Dja
- GeoJson的简要介绍GeoJson是用json的语法表达和存储地理数据，可以说是json的子集。GeoJson以键值对的形式保存原有对象
- 注意事项[object] * n 的时候并没有复制n-1个object，而是增加了n-1个对object的引用。例子说明目标：生成一个10*
- 本文实例讲述了Python计算程序运行时间的方法。分享给大家供大家参考。具体实现方法如下：import timedef start_slee
- code：f = open('yesterday','r',encoding='utf-8'
- Ctrl+N 按文件名搜索py文件ctrl+n可以搜索py文件勾选上面这个框可以搜索工程以外的文件Ctrl+shift+N 按文件名搜索所有
- 本文实例讲述了thinkphp实现发送邮件密码找回功能的方法。分享给大家供大家参考。具体实现方法如下：首先下载mail.class.php类
