浅谈python写入大量文件的问题
作者：NesCafee 发布时间：2021-12-07 00:44:00
标签：python,写入,文件
今天准备把几个txt文件合并成一个文件时，用f.write方法写入时，发现程序执行完了，本应该十万行左右的txt记录，实际上只被写入了4k多行。
网上查了是因为程序执行速度太快，以至于读到内容还没有完全写入文件，文件就已经关闭了
方法一：加入缓冲区
f.flush()
//operation
os.fsync(output)
f.close()
打开文件后执行flush(),关闭文件前执行os.fsync()确保缓冲区的内容都写出去了。
方法二：用sleep
用了上述方法不行，因为我在打开文件后用了迭代输出，可能会让缓冲区 * ，在循环中加入sleep函数可以确保每次循环都能将内容写入
with open(outputfile,'a') as output:
for i in all_txt_name:
f =open(dir+'/'+i)
for a in f:
output.write(a)
time.sleep(0.00000001)
f.close()
后来发现：
txt文件如果太大，在pycharm中只会显示一小部分，可能是指显示了部分文件导致未以为文件没写进去，fuck
来源：https://blog.csdn.net/dpengwang/article/details/81556573
0
投稿猜你喜欢
爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息，一般来说，Python爬虫程序很多时候都要使用（飞猪IP）代理的IP- 本文实例讲述了Laravel框架视图和模型操作方法。分享给大家供大家参考，具体如下：视图简介：视图包含了应用程序渲染的HTML数据，并将应用
- 目录1、发送get请求2、发送post请求3、发送https请求4、文件上传5、文件下载6、timeout超时7、鉴权7.1、auth参数鉴
- PHP扩展开发我准备在此系列博文中总结我有关PHP扩展开发的学习和感悟，力图简单清晰地描述在Linux系统下开发一个PHP扩展应该具备的最基
- 在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的编写，刚开始不会体会出SQL语句各种写法的性能优劣，但是如果将应
- 让我们描绘一下本文的情节：假设您要在本地机器上运行一个进程，而部分程序逻辑却在另一处。让我们特别假设这个程序逻辑会不时更新， 而您运行进程时
- 本文实例讲述了Python基于Matplotlib库简单绘制折线图的方法。分享给大家供大家参考，具体如下：Matplotlib画折线图，有一
- 写这篇文章的缘由是我使用 reqeusts 库请求接口的时候, 直接使用请求参数里的 json 字段发送数据, 但是服务器无法识别我发送的数
- 1、简介QListWidget 是一个升级版本的QListView , 它已经建立一个基于数据存储模型（QListWidgetItem）,直
- 感觉很流畅的键盘控制（带惯性） <body> <div id="man" style="po
- Detecting When The User Has Clicked Cancel One of the things you may w
- 项目开发中，代码管理肯定离不开git操作，Pycharm中没有复杂的命令操作，只需要进行一些简单的菜单操作就可以方便的实现版本管理，下面分别
- 我们使用tp或者yii2的时候，会将网站的前台和后台按照模块分组。yii2的高级模板已经帮我们划分好了，tp系列框架需要自己配置分组。那么l
- Mysql8.0.12解压版安装方法亲测，供大家参考1.下载（官方推荐的是下载安装板，但是之前一直用，想试一下解压版，毕竟更简单嘛），下载地
- 第一步：先引入所需的第三方模块import echarts from "echarts"; // 引入所需要的echar
- 一、SQLAlchemy 介绍1.1 ORM 的概念ORM全称Object Relational Mapping（对象关系映射），通过 OR
- 输入命令jupyter notebook --generate-config可以看到此时Jupyter Notebook的默认目录找到对应路
- 前言动态语言Ruby、Python都有自己的虚拟环境，虚拟环境是程序执行时的独立执行环境，在同一台服务器中可以创建不同的虚拟环境供不同的系统
- Django是一个基于Python Web框架的高级Web框架，允许快速开发和干净，务实的设计。今天，我们将创建一个待办事项应用程序，以了解
- 本文提供一种方法，通过将字符串编码成Unicode格式，保证数据在展示和传输过程中万无一失。无论客户端浏览器如何改变编码，页面上的编码都不会
