通过Pandas读取大文件的实例
作者：痞靥 发布时间：2023-12-25 21:18:31
标签：Pandas,读取,文件
当数据文件过大时，由于计算机内存有限，需要对大文件进行分块读取：
import pandas as pd
f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv')
reader = pd.read_csv(f, sep=',', iterator=True)
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
print(df)
read_csv()函数的iterator参数等于True时，表示返回一个TextParser以便逐块读取文件；
chunkSize表示文件块的大小，用于迭代；
TextParser类的get_chunk方法用于读取任意大小的文件块；
StopIteration的异常表示在循环对象穷尽所有元素时报错；
concat()函数用于将数据做轴向连接：
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)
常用参数：
objs：Series,DataFrame或者是Panel构成的序列list;
axis：需要合并连接的轴，0是行，1是列；
join：连接的参数，inner或outer；
ignore=True表示重建索引。
来源：https://blog.csdn.net/u012347642/article/details/78555132
0
投稿猜你喜欢
- 有的时候取出全部数据库记录也许正好满足你的要求，不过，在大多数情况下我们通常只需得到部分记录。这样一来该如何设计查询呢？当然会更费点脑筋了，
我认为多选列表具有完美的功能——只需按下Ctrl键，同时点击鼠标从列表中选择多个项目。以下是一个典型的多选列表框：选出你最喜爱的快餐：&nb- 首先，让我们介绍一下什么是pytorch，它是一个基于Python的开源深度学习框架，它提供了两个核心功能：张量计算和自动求导。张量计算张量
- 1.首先检查自己的环境变量是否配置正确点击setting 点击 Python Interpreter点击Add Interpret
- Dreamweaver一直是不少网友钟情的网页设计工具，除了它强大的动态效果制作能力外，方便简洁的操作界面更是独具特色，下面我们将以最新版本
- 下面这段代码，你知道有哪些错误吗：var g_bar = "bar";function foo(container, c
- 1、引入模块import zipfilezip文件格式是通用的文档压缩标准，在ziplib模块中，使用ZipFile类来操作zip文件，下面
- Python序列化的概念很简单。内存里面有一个数据结构，你希望将它保存下来，重用，或者发送给其他人。你会怎么做？这取决于你想要怎么保存，怎么
- 音频文件放入和.py文件同级的目录下import winsound # 导入此模块实现声音播放功能import time # 导入此模块，获
- 1 安装Djangopython -m pip install django2 新建项目 my_apidjango-admin startp
- 一、命名元祖在python基础中， 我们学习元祖的时候，取元祖内部的元素都是通过索引来进行取值的。但是这种取值方式不够友好， 所以我们引入命
- 最近项目中遇见 Jquery Ajax 缓存问题,load出来的页面状态有时正常，有时不对，记录一下，希望对大家有帮助使用jquery里lo
- 前言图像分割是许多计算机视觉应用中的关键处理步骤，通常用于将图像划分为不同的区域，这些区域常常对应于真实世界的对象。因此，图像分割是图像识别
- 有这样一个要求，它要创建一个SQL Server查询，其中包括基于事件时刻的累计值。典型的例子就是一个银行账户，因为你每一次都是在不同的时间
- 人生苦短，我用python。看到这句话的时候，感觉可能确实是很深得人心，不过每每想学学，就又止步，年纪大了，感觉学什么东西都很慢，很难，精神
- 一、 安装tensorboard直接pip即可:pip install tensorboard这里注意，使用pytorch，并不需要额外安装
- 一、请求扩展1.before_request作用: 类比django中间件中的process_request，在请求到来执行路由函数之前先执
- 帮朋友制作一个网站，需要一些产品数据信息，因为是代理其他公司产品，直接爬取代理公司产品数据1.设计数据库from django.db imp
- 无论安装以下哪种库，强烈建议在新环境下安装，之前在base环境下安装各种报错！！！如何在新环境下安装可参见我之前的总结或网上其他文章。不推荐
- 数据库快照是怎样工作的可以使用典型的数据库命令CREATE DATABASE语句来生成一个数据库快照，在声明中有一个源数据库快照的附加说明。
