HDF5 的介绍以及在python中的应用

HDF5介绍：

HDF 是用于存储和分发科学数据的一种自我描述、多对象文件格式。HDF 是由美国国家超级计算应用中心（NCSA）创建的，以满足不同群体的科学家在不同工程项目领域之需要。HDF 可以表示出科学数据存储和分布的许多必要条件。HDF 被设计为：

• 自述性：对于一个HDF 文件里的每一个数据对象，有关于该数据的综合信息（元数据）。在没有任何外部信息的情况下，HDF 允许应用程序解释HDF文件的结构和内容。
• 通用性：许多数据类型都可以被嵌入在一个HDF文件里。例如，通过使用合适的HDF 数据结构，符号、数字和图形数据可以同时存储在一个HDF 文件里。
• 灵活性：HDF允许用户把相关的数据对象组合在一起，放到一个分层结构中，向数据对象添加描述和标签。它还允许用户把科学数据放到多个HDF 文件里。
• 扩展性：HDF极易容纳将来新增加的数据模式，容易与其他标准格式兼容。
• 跨平台性：HDF 是一个与平台无关的文件格式。HDF 文件无需任何转换就可以在不同平台上使用。

HDF5是一种存储相同类型数值的大数组的机制，适用于可被层次性组织且数据集需要被元数据标记的数据模型。它跟SQL风格的关系型数据库区别相当大，HDF5在组织结构方面有一些特殊的技巧（第8章中有一个例子）。如果你需要在多个表上保持关系，或者想要在数据上进行JOIN，那么一个关系型数据库可能更适合你。又或者你需要在一台没有安装HDF5的机器上读取一个小型的1维数据集，那么CSV这样的文本格式是更合理的选择。但如果你需要处理多维数组，对性能有非常高的要求，需要在数据集上支持子集分片和部分I/O，需要用特征来给数据集做标记，对关系型特性没有要求，那么HDF5就是完美的选择。

那么说到底，“HDF5”究竟是指什么？我确信它包含下面3点：

1．一种文件规格及相关的数据模型；

2．一个可被C、C++、Java，Python以及其他语言使用的API标准库；

3．一个软件生态系统，由使用HDF5的客户程序以及MATLAB、IDL和Python等“分析平台”组成。

HDF5文件构成：

一个HDF5文件就是一个由两种基本数据对象（groups and datasets）存放多种科学数据的容器：

• HDF5 group: 包含0个或多个HDF5对象以及支持元数据（metadata）的一个群组结构

• HDF5 dataset: 数据元素的一个多维数组以及支持元数据（metadata）

HDF5在Python中的应用：

python应用h5py包实现对HDF5格式的数据文件（.h5）进行操作，官方网址http://www.h5py.org/，或者直接可以用pip进行安装

import h5py  #导入工具包  
import numpy as np  
#HDF5的写入：  
imgData = np.zeros((30,3,128,256))  
f = h5py.File('file.h5','w')        #创建一个h5文件，文件指针是f  
f['data'] = imgData                 #将数据写入文件的主键data下面  
f['labels'] = range(100)            #将数据写入文件的主键labels下面  
f.close()                           #关闭文件  
  
#HDF5的读取：  
f = h5py.File('file.h5','r')   #打开h5文件  
f.keys()                            #可以查看所有的主键  
a = f['data'][:]                    #取出主键为data的所有的键值  
f.close()