对python中大文件的导入与导出方法详解
作者：pw007992 发布时间：2021-02-11 12:32:47
标签：python,大文件,导入,导出
1、csv文件的导入和导出
通过一个矩阵导出为csv文件，将csv文件导入为矩阵
将csv文件导入到一个矩阵中
import numpy
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)
将矩阵导出到本地csv中
numpy.savetxt('new.csv', my_matrix, delimiter = ',')
未完待续。。。
也可以使用pickle模块，保存的文件是序列化的
python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。
pickle.dump(obj, file, [,protocol])
注解：将对象obj保存到文件file中去。
protocol为序列化使用的协议版本，0：ASCII协议，所序列化的对象使用可打印的ASCII码表示；1：老式的二进制协议；2：2.3版本引入的新二进制协议，较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。
file：对象保存到的类文件对象。file必须有write()接口， file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1，文件对象需要是二进制模式打开的。
pickle.load(file)
注解：从file中读取一个字符串，并将它重构为原来的python对象。
file：类文件对象，有read()和readline()接口。
保存数据
tmpdatapath = "E:\\data\\u_i_matrix.csv"
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();
导入数据
fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()
追加：将内容通过print输入到文件中
str=”a string to print to file”
f=open(‘out.txt','w')
print >>f,str
f.close()
来源：https://blog.csdn.net/qq_26593881/article/details/53120837
0
投稿猜你喜欢
- 来看看javascript怎么实现自动点击超级链接吧，主要使用了js中的onclick事件。这里推荐大家看看这篇文章js鼠标事件大全。看了这
Python操作Mysql最近在学习python，这种脚本语言毫无疑问的会跟数据库产生关联，因此这里介绍一下如何使用python操作mysq- 创建表&创建索引create table tbl1 (id int unique, sname varchar(50),index
- 前言在SQL Server数据库中，有时候会建立一些Windows认证的账号（域账号）,例如，我们公司习惯给开发人员和Support同事开通
- 性能不理想的系统中除了一部分是因为应用程序的负载确实超过了服务器的实际处理能力外,更多的是因为系统存在大量的SQL语句需要优化。为了获得稳定
- 新手在配置pytorch过程中总会或多或少遇到些问题，同时网上关于pytorch的环境配置琳琅满目，不知道应该按照哪个配置，这里笔者记录一下
- 如下所示：#!/usr/bin/python3# -*- coding:UTF-8-*-# Author: zhuhongqiangfrom
- 1.tensor张量与numpy相互转换tensor ----->numpyimport torcha=torch.ones([2,5
- 安装paramiko后，看下面例子：import paramiko#设置ssh连接的远程主机地址和端口t=paramiko.Transpor
- 命名空间单例模式是JavaScript中最常见的一种模式，通过这种模式可以为我们提供一个命名空间，例如jQuery库的命名空间为jQuery
- 我要实现的就是下图的这种样式，可参考下面这两个网站的留言板，他们的实现原理都是一样的畅言留言板样式：网易跟帖样式：原理需要在评论表添加两个主
- 如下所示：def test1(): try: print('to do stuff')
- 在日常生活中总是有给图像分类的场景，比如垃圾分类、不同场景的图像分类等；今天的文章主要是基于图像识别场景进行模型构建。图像识别是通过 Pyt
- 使用背景逛社区发现许多人在解决删除文件夹中非图片文件，删除文件夹中图片等问题的时候，都写了很多代码取实现这一功能，我当时就纳闷了，能几行代码
- 本文实例讲述了JavaScript+canvas实现七色板效果。分享给大家供大家参考，具体如下：效果图如下：html：<canvas
- 用python2的小伙伴肯定会遇到字符编码的问题。下面对编码问题做个简单的总结，希望对各位有些帮助。 故事零：编码的定义 我们从“SOS“（
- --分页存储过程示例 Alter PROCEDURE [dbo].[JH_PageDemo] @pageSize int = 9000000
- 首先说说框架（Frameworks）这个词，框架就是为我们提供了一个平台一个运行环境，在如此统一的前提下我们做相关开发才能“有章可循”，要充
- 学习目的 接触验证控件 昨天介绍了SQL SERVER插入数据，但是我们省略了验证输入这一步。以前的做法是用语句逐个判断输入的正确性，如是否
- 本文实例讲述了python网络编程之读取网站根目录的方法，分享给大家供大家参考。具体实现方法如下：import socket, sys po
