对pandas写入读取h5文件的方法详解
作者：hzau_yang 发布时间：2021-01-10 09:11:18
标签：pandas,h5
1、引言
通过参考相关博客对hdf5格式简要介绍。
hdf5在存储的是支持压缩，使用的方式是blosc，这个是速度最快的也是pandas默认支持的。 使用压缩可以提磁盘利用率，节省空间。 开启压缩也没有什么劣势，只会慢一点点。 压缩在小数据量的时候优势不明显，数据量大了才有优势。 同时发现hdf读取文件的时候只能是一次写，写的时候可以append，可以put，但是写完成了之后关闭文件，就不能再写了， 会覆盖。
另外，为什么单独说pandas，主要因为本人目前对于h5py这个包的理解不是很深入，不知道如果使用该包存pd.DataFrame格式的文件，不像numpy格式文件可以直接存储，因此本人只能依赖pandas自带一些函数进行处理。
2、写入文件
使用函数：pd.HDFStore
import numpy as np
import pandas as pd
####生成9000,0000条数据，9千万条
a = np.random.standard_normal((90000000,4))
b = pd.DataFrame(a)
####普通格式存储：
h5 = pd.HDFStore('/data/stock/test_s.h5','w')
h5['data'] = b
h5.close()
####压缩格式存储
h5 = pd.HDFStore('/data/stock/test_c4.h5','w', complevel=4, complib='blosc')
h5['data'] = b
h5.close()
3、读取文件
使用函数：pd.read_hdf
参数：文件名，key
data=pd.read_hdf('/data/stock/test_c4.h5',key='data')
来源：https://blog.csdn.net/hzau_yang/article/details/78485879
0
投稿猜你喜欢
- 一、实现过程终端的字符颜色是用转义序列控制的，是文本模式下的系统显示功能，和具体的语言无关转义序列是以ESC开头,即用\033来完成（ESC
注意:myemployees库和shoppingCart库在同一台物理主机，如果不在同一台物理主机该怎么办呢？下面我会介绍到。情况一2个库在- js也是可以做出狂炫的图形的，恭请超级高手分析。给大家看个例子吧。http://www.p01.org/releases/DHTML_con
- 一、本节说明我们在开发过程中经常需要监听用户的输入，比如：用户的点击事件、拖拽事件、键盘事件等等。这就需要用到我们下面要学习的内容v-on指
- 前言昨天把自己的VASP文件处理库进行了打包并上传到PyPI，现在可以直接通过pip和easy_install来安装VASPy啦（同时欢迎使
- 钱包基础概念广义上，钱包是一个应用程序，为用户提供交互界面。钱包控制用户访问权限、管理比特比地址及秘钥、跟踪余额、创建交易和签名交易狭义上，
- 这学期在学python，感觉想写一个东西来巩固自己的基础，因为大二的时候我看过python，所以还是一共花了几个小时写了一个基于mysql的
- 在网上查了部分资料但是发现粘上去的代码都存在问题，无奈只好自己修改了一下，代码如下： 如下代码能正常运行，都是网上查找资料最后拼凑总结出来的
- 两个树莓派，在同一个局域网内，传输文件，采用socket方式。client端代码：import socketimport osimport
- 本文实例讲述了JS生成一维码(条形码)功能的方法。分享给大家供大家参考，具体如下：1、js代码：(function() { if (!exp
- 一、数据降维机器学习中的维度就是特征的数量，降维即减少特征数量。降维方式有：特征选择、主成分分析。1.特征选择当出现以下情况时，可选择该方式
- 最近重温了一下位图分割的相关内容，发现网络上位图分割原理讲得已经很清楚了，但是代码多为C++实现或者Matlab实现，因为需要Python的
- 我用asp+access写程序， sql="select *&
- 一、先描述一下问题吧如下创建表时候报错了CREATE TABLE `xxx` ( `id` bigint(20) NOT NUL
- 页面上有些重要内容需要提醒客户，可采用的方法有很多。提醒用户关注某一区域(div)，可以给该div加上边框闪烁的效果，达到吸引用户眼球的效果
- 前言在MySQL中跨库查询主要分为两种情况，一种是同服务的跨库查询；另一种是不同服务的跨库查询；它们进行跨库查询是不同的，下面就具体介绍这两
- 访问者模式我觉得Visitor模式是在补修改已有程序结构前提下，通过添加额外的访问者完成对代码功能的拓展 为什么这样用？当你的类层次较多，在
- 求最大连续子序列的和是一个很经典很古老的面试题了，记得在刚毕业找工作面试那会也遇到过同款问题。今儿突然想起来，正好快到毕业季，又该是苦逼的应
- 在了解了XHTML 2的进展之后，我们再来看看X/HTML 5 的进展。X/HTML 5酷在什么地方章节元素的构想X/HTML 5引入新的元
- 到了今天，数据库已经成了网站的灵魂，可以说，没有对数据进行集中管理就算不上是一个真正的网站。而ASP加数据库，更成了主流中的主流，网站里的用
