pandas string转dataframe的方法
作者：小煤矿屁 发布时间：2021-08-15 14:47:04
标签：pandas,string,dataframe
今天业务上碰到用pandas处理一个大文件的内存不够问题，需要做concat 合并多个文件，每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理，后面发现即使pandas内存问题解决了，用pickle做保存数据时也会提升内存不够的报错，后来把dataframe对象转化成string，发现内存占用减少了近一半。
所以打算用先转成string再dump到离线文件里，官网文档上只有to_string的说明，而从string转dataframe却没有提供直接的函数。
其实很简单，我们可以把string放到一个文件对象里，然后通过read_csv函数来创建dataframe对象。
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")
来源：https://blog.csdn.net/u014252563/article/details/70148015
0
投稿猜你喜欢
错误如图所示:图一 如果不能很好地执行登录触发器，那么将会导致登录失败。 例如，如果创建了这个触发器，那么就可以设计下面的代码来达到失败的目- 今天项目上遇到一个问题，需要在点击a标签时，将完整的内容显示出来原先是想用jquery的click方法<a ownattr=“……”
- 假如一个页面中的文本采用的都是同样的字体、同样的字号、同样的颜色，做为读者的你能轻易的区分出哪里是标题，哪里是正文内容吗？所以通常情况下，设
- SQL Server Extended Events（下面简称XEvent）是SQL Server 2008里新加的事件处理系统，用来取代S
- 使用场景先来观察以下代码:abstract class base { //do sth}class aClass extends
- 概述OpenCV 是一个跨平台的计算机视觉库, 支持多语言, 功能强大. 今天小白就带大家一起携手走进 OpenCV 的世界.梯度运算梯度:
- 今天尝试了一下据说最好用的编译器Jupyter Lab，安装期间遇到了很多问题，以此为记录。1.安装jupyter labjupyter l
- 要自动发微博最简单的办法无非是调用新浪微博的API（因为只是简单的发微博，就没必要用它的SDK了）。参考开发文档http://o
- 目录一、binlog的三种模式1.statement level模式2.rowlevel模式3.mixed模式二、我们使用binlog时应该
- 置信椭圆原理及椭圆图形绘制置信椭圆长短轴计算def confidence_oval(self,factor, ppf_rate): &nbs
- 前言：今天学习python的常用模块的时候，了解到了time模块和datetime模块，于是想在编译环境中实时打印出时间，不会换行，且打印的
- 如何使用模板系统让我们深入研究模板系统，你将会明白它是如何工作的。但我们暂不打算将它与先前创建的视图结合在一起，因为我们现在的目的是了解它是
- 本文实例讲述了python针对mysql数据库的连接、查询、更新、删除操作。分享给大家供大家参考，具体如下：连接一 代码import pym
- 译序：本文译自Smashingmagazine，但是原文讲述的内容有些浅，也不是很完整，前端观察在翻译的前提下，增加了更多的更系统的内容。如
- 在windows7下安装SQL2005时会提示不兼容，需要安装SQL2005 SP3或更高的版本，不用管它，一路安装下去，等装完在开始菜单没
- 需要安装OpenCV和SimpleItk。SimpleItk比较简单，直接pip install SimpleItk即可。代码如下：#cod
- 环境 python3.8pycharm2021.2知识点requests >>> pip install req
- validator库参数校验若干实用技巧在web开发中一个不可避免的环节就是对请求参数进行校验，通常我们会在代码中定义与请求参数相对应的模型
- 本文实例讲述了python面试题之列表声明。分享给大家供大家参考，具体如下：下面程序输出的结果为？val = [['a']*
- tkinter获取复选框(Checkbutton)的值定义GUI：from tkinter import *# 初始化Tk()myWindo
