Python数据存储之 h5py详解
作者：鼹鼠的胡须 发布时间：2023-09-18 00:04:48
标签：Python,数据存储,h5py
1、Python数据存储（压缩）
（1）numpy.save , numpy.savez , scipy.io.savemat
numpy和scipy内建的数据存储方式。
（2）cPickle + gzip
cPickle是pickle内建的数据存储方式，gzip是常用的文件压缩模块。
（3）h5py
h5py是对HDF5文件格式进行读写的python包，关于h5py更多介绍与安装，参考官方网站
关于HDF5，参考官方网站。：
一个HDF5文件就是一个由两种基本数据对象（groups and datasets）存放多种科学数据的容器：
HDF5 dataset: 数据元素的一个多维数组以及支持元数据（metadata）； HDF5 group: 包含0个或多个HDF5对象以及支持元数据（metadata）的一个群组结构；
总之，dataset是类似于数组的数据集，而group是类似文件夹一样的容器，存放dataset和其他group；group和dataset在h5py中的使用有点类似于词典和Numpy中数组的用法。
h5py的优势：速度快、压缩效率高，总之，numpy.savez和cPickle存储work或不work的都可以试一试h5py！
2、h5py读取和存储数据示例
import h5py
X= np.random.rand(100, 1000, 1000).astype('float32')
y = np.random.rand(1, 1000, 1000).astype('float32')
# Create a new file
f = h5py.File('data.h5', 'w')
f.create_dataset('X_train', data=X)
f.create_dataset('y_train', data=y)
f.close()
# Load hdf5 dataset
f = h5py.File('data.h5', 'r')
X = f['X_train']
Y = f['y_train']
f.close()
详细使用方法，参考官网。
来源：https://blog.csdn.net/qq_23968185/article/details/77671726
0
投稿猜你喜欢
本文实例为大家分享了python使用itchat实现手机控制电脑的具体代码，供大家参考，具体内容如下1.准备材料首先电脑上需要安装了pyth- 本文实例讲述了Python设计模式之建造者模式。分享给大家供大家参考，具体如下：建造者模式(Builder Pattern):将一个复杂对象
- 何为共线性：共线性问题指的是输入的自变量之间存在较高的线性相关度。共线性问题会导致回归模型的稳定性和准确性大大降低，另外，过多无关的维度计算
- 前言要想学好爬虫，必须把基础打扎实，之前发布了两篇文章，分别是使用XPATH和requests爬取网页，今天的文章是学习Beautiful
- 相信很多人在使用正则表达式的时候都会遇到如下的语句：通过查阅正则表达式的API文档可以了解到正则表达式的语法知识：很多小伙伴就会产生疑问为什
- openpyxlopenpyxl模块属于第三方模块，是一个在 python 中能够处理 excel 文件的模块，还有比较出名的是xlrd、x
- PHP mysqli_stmt_init() 函数初始化声明并返回 mysqli_stmt_prepare() 使用的对象：<?php
- 前段时间开始学习JSON在ASP中的使用，JSON确实比XML方便。以前在写程序的时候有考虑使用XML来存储数据，但是一直觉得生成文档及文档
- 1_cookie[掌握]解释: 用来保持服务器和浏览器交互的状态的, 由服务器设置,存储在浏览器作用: 用来做广告推送cookie的设置和获
- 以前看过几个JS代码格式的，自己也来写了一个，呵呵，优点是可以处理超长的 JS 而不会死机.........IE Only运行代码框<
- 微信小程序canvas写字板效果及实例写字板效果：书写文字，画板重置，导出图片，导出图片前判断是否书写内容app.json：添加一个路由：&
- 单例模式是一种常见的设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派
- 本文实例讲述了Python 面向对象静态方法、类方法、属性方法知识点。分享给大家供大家参考，具体如下：（1）静态方法--》-@staticm
- str字符串s = '中文' # s: <type 'str'>s是个str对象，中
- PDO::errorCodePDO::errorCode — 获取跟数据库句柄上一次操作相关的 SQLSTATE(PHP 5 >= 5
- 1.需求描述编写一个 Python 程序，每次下载压缩包形式的文件后，自动将内部文件解压到当前文件夹后将压缩包删除，通过本案例可以学到的知识
- EXCEL的数值排序功能还是挺强大的，升序、降序，尤其自定义排序，能够对多个字段进行排序工作。那么，在Python * 中，有没有这样强大的排
- 如果你之前没用过进度条，八成是觉得它会增加不必要的复杂性或者很难维护，其实不然。要加一个进度条其实只需要几行代码。在这几行代码中，我们可以看
- 需求一般Django开发为了保障避免 csrf 的攻击，如果使用Django的模板渲染页面，那么则可以在请求中渲染设置一个csrftoken
- xbox series和ps5发售以来，国内黄牛价格一直居高不下。虽然海外amazon上ps5补货很少而且基本撑不过一分钟，但是xbox s
