深度学习之10分钟入门h5py

2024-03-23 07:48
文章标签 学习 入门 深度 分钟 h5py

本文主要是介绍深度学习之10分钟入门h5py，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

      • 0、前言
      • 1、HDF5 简介
      • 2、h5py 安装
      • 3、h5py 简介
          • 3.1 打开和创建 h5py 文件
          • 3.2 创建数据集
          • 3.3 创建组
          • 3.4 属性
      • # 参考文章

0、前言

在这里插入图片描述
最近在看SRCNN代码的时候碰到了h5py，就查询了一下这个函数h5py.File，了解了一下这种读取图像的方式，发现它相比于其他读取方式，速度、内存占用和压缩程度都更强。下面跟我一起简单地入门h5py 😃

1、HDF5 简介

HDF（Hierarchical Data Format）指一种为存储和处理大容量科学数据设计的文件格式及相应库文件。最早由美国国家超级计算应用中心 NCSA 研究开发，目前在非盈利组织HDF Group维护下继续发展。HDF支持多种商业及非商业的软件平台，包括MATLAB、Java、Python、R 和 Julia 等等，现在也提供了 Spark ，其版本包括了 HDF4 和 HDF5 。

当前流行的版本是 HDF5。HDF5 拥有一系列的优异特性，使其特别适合进行大量科学数据的存储和操作，如它支持非常多的数据类型，灵活，通用，跨平台，可扩展，高效的 I/O 性能，支持几乎无限量（高达 EB）的单文件存储等，详见其官方介绍：https://support.hdfgroup.org/HDF5/ 。

Python 中有一系列的工具可以操作和使用 HDF5 数据，其中最常用的是 h5py 和 PyTables，我们只说今天的主角 h5py。

2、h5py 安装

官方教程：http://docs.h5py.org/en/latest/build.html#install

使用 Anaconda 或 Miniconda：

conda install h5py

用 Enthought Canopy，可以使用 GUI 安装包安装 或者：

enpkg h5py

或者使用pip 直接安装：

pip install h5py

3、h5py 简介

一个HDF5文件就是一个容器，用于储存两类对象：

  • 数据集(dataset)，类似于数组的数据集合，和 numpy 的数组差不多；

  • 组(group)，类似于文件夹的容器，它好比 python 中的字典，有键(key)和值(value)。

group 中可以存放 dataset 或者其他的 group。”键”就是组成员的名称，”值”就是组成员对象本身(组或者数据集)，下面来看下如何创建组和数据集。

3.1 打开和创建 h5py 文件

HDF5 文件通常像标准 Python 文件对象一样工作。它们支持 r / w / a 等标准模式，并且在不再使用时应关闭。但是，显然没有“text”与“binary”模式的概念。

import h5pyf = h5py.File("myh5py.hdf5", "w")

文件名可以是字节字符串或 unicode 字符串。有效mode是：

mode说明
r只读，文件必须存在
r+读 / 写，文件必须存在
w创建文件，已经存在的文件会被覆盖掉
w- / x创建文件，文件如果已经存在则出错
a打开已经存在的文件进行读 / 写，如果不存在则创建一个新文件读 / 写（默认）

在当前目录下会生成一个 myh5py.hdf5 文件
在这里插入图片描述

3.2 创建数据集

使用 Group.create_dataset() 或创建新数据集 Group.require_dataset() 。应使用组索引语法（）检索现有数据集。dset = group[“name”]

要创建一个空数据集，我们所要做的就是指定名称，形状和可选的数据类型（默认为’f’）：

import h5pyf = h5py.File("myh5py.hdf5", "w")
# deset1是数据集的name，(100,)代表数据集的shape，i代表的是数据集的元素类型
dset = f.create_dataset("deset1", (100,), 'i')for key in f.keys():print(key)print(f[key].name)print(f[key].shape)print(f[key].value)# deset1
# /deset1
# (100,)
# [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
#  0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
#  0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
#  0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
#  0. 0. 0. 0.]

如何给数据集赋值，有两种方法：

import h5py
import numpy as npf = h5py.File("myh5py.hdf5", "w")# 第一种方法：重新创建一个空数据集并赋值
d = f.create_dataset("dset1", (100,), 'i')
d[...] = np.arange(100)# 第二种方法：直接创建一个数据集并赋值
f["dset2"] = np.arange(100)for key in f.keys():print(f[key].name)print(f[key].value)# /dset1
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
#  24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
#  48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71
#  72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95
#  96 97 98 99]
# /dset2
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
#  24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
#  48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71
#  72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95
#  96 97 98 99]

如果有现成的 NumPy 数组，那么可以在创建数据集的时候将数据集初始化为现有的 NumPy 数组，这样就不必指定数据的类型和形状了，只需要把数组名传给参数 data：

import h5py
import numpy as npf = h5py.File("myh5py.hdf5", "w")arr = np.arange(100)
dset = f.create_dataset("dset", data=arr)for key in f.keys():print(f[key].name)print(f[key].value)# /dset
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
#  24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
#  48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71
#  72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95
#  96 97 98 99]
3.3 创建组

组是 HDF5 文件组织的容器机制。从 Python 的角度来看，它们的运作方式有点像词典。在这种情况下，“keys”是组成员的名称，“values”是成员本身（Group 和 Dataset）对象。

import h5py
import numpy as npf = h5py.File("myh5py.hdf5", "w")# 创建一个名字为bar的组
g = f.create_group("bar")# 在bar这个组里面分别创建name为dset1, dset2的数据集并赋值
g["dset1"] = np.arange(100)
g["dset2"] = np.arange(100).reshape((10, 10))for key in g.keys():print(g[key].name)print(g[key].value)# /bar/dset1
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
#  24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
#  48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71
#  72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95
#  96 97 98 99]# /bar/dset2
# [[ 0  1  2  3  4  5  6  7  8  9]
#  [10 11 12 13 14 15 16 17 18 19]
#  [20 21 22 23 24 25 26 27 28 29]
#  [30 31 32 33 34 35 36 37 38 39]
#  [40 41 42 43 44 45 46 47 48 49]
#  [50 51 52 53 54 55 56 57 58 59]
#  [60 61 62 63 64 65 66 67 68 69]
#  [70 71 72 73 74 75 76 77 78 79]
#  [80 81 82 83 84 85 86 87 88 89]
#  [90 91 92 93 94 95 96 97 98 99]]

注意观察，数据集 dset1 和 dset2 的名字和前面的不一样。

如果是直接创建的数据集，不在任何组里面，那么它的名字就是/+名字，比如：/dset；现在这两个数据集都在bar这个组里面，名字就变成了/bar+/名字，比如：/bar/dset2，有点文件夹的感觉。

import h5pyf=h5py.File("myh5py.hdf5","w")
print(f.name)
# /
print(f.keys())
# <KeysViewHDF5 []>

文件中所有对象的名称都是文本字符串（unicode 在 Py2 上，str 在 Py3 上）。这些将在传递到 HDF5 C 库之前使用 HDF5 批准的 UTF-8 编码进行编码。也可以使用字节字符串检索对象，字节字符串将按原样传递给 HDF5 。

新组很容易创建：

import h5pyf=h5py.File("myh5py.hdf5","w")g = f.create_group("bar")
print(g.name)
# /bar
subgrp = g.create_group("baz")
print(subgrp.name)
# /bar/baz

也可以隐式创建多个中间组：

import h5pyf=h5py.File("myh5py.hdf5","w")g2 = f.create_group("/some/long/path")
print(g2.name)
# /some/long/path
g3 = f['/some/long']
print(g3.name)
# /some/long

再来看一个例子：

import h5py
import numpy as npf = h5py.File("myh5py.hdf5", "w")# 创建组bar1,组bar2，数据集dset
g1 = f.create_group("bar1")
g2 = f.create_group("bar2")
d = f.create_dataset("dset", data=np.arange(10))# 在bar1组里面创建一个组car1和一个数据集dset1。
c1 = g1.create_group("car1")
d1 = g1.create_dataset("dset1", data=np.arange(10))# 在bar2组里面创建一个组car2和一个数据集dset2
c2 = g2.create_group("car2")
d2 = g2.create_dataset("dset2", data=np.arange(10))# 根目录下的组和数据集
print(".............")
for key in f.keys():print(f[key].name)# bar1这个组下面的组和数据集
print(".............")
for key in g1.keys():print(g1[key].name)# bar2这个组下面的组和数据集
print(".............")
for key in g2.keys():print(g2[key].name)# 顺便看下car1组和car2组下面都有什么，估计你都猜到了为空。
print(".............")
print(c1.keys())
print(c2.keys())# .............
# /bar1
# /bar2
# /dset
# .............
# /bar1/car1
# /bar1/dset1
# .............
# /bar2/car2
# /bar2/dset2
# .............
# <KeysViewHDF5 []>
# <KeysViewHDF5 []>
3.4 属性

属性是使 HDF5 成为“self-describing”格式的关键部分。HDF5 的最好特征之一就是你可以在描述的数据后储存元数据（metadata）。所有的 groups 和 datasets 都支持几个数据位的附属命名，称为属性。Group和 Dataset 对象是在 HDF5 中存储元数据的官方方式。

属性具有以下属性：

  • 它们可以从任何标量或 NumPy 数组创建
  • 每个属性应该很小（通常 < 64k）
  • 没有部分 I / O（即切片）; 必须读取整个属性。

.attrs代理对象属于下面的 attributeManager 类。此类支持字典样式的接口。

属性可以通过 attrs 这个代理对象来获取，这会再一次执行字典接口：

import h5pyf = h5py.File("myh5py.hdf5", "w")dset = f.create_dataset("mydataset", (100,), dtype='i')dset.attrs['number'] = 100
print(dset.attrs['number'])
print('number' in dset.attrs)# 100
# True

更多的内容，请参考官方文档——HDF5 for Python

如果想要更多的资源，欢迎关注 @我是管小亮，文字强迫症MAX~

回复【福利】即可获取我为你准备的大礼，包括C++，编程四大件，NLP，深度学习等等的资料。

想看更多文（段）章（子），欢迎关注微信公众号「程序员管小亮」~

在这里插入图片描述

# 参考文章

  • 官方文档——HDF5 for Python
  • python库——h5py入门讲解

这篇关于深度学习之10分钟入门h5py的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/837640。

相关文章

从入门到精通MySQL联合查询

从入门到精通MySQL联合查询

《从入门到精通MySQL联合查询》：本文主要介绍从入门到精通MySQL联合查询,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下... 目录摘要1. 多表联合查询时mysql内部原理2. 内连接3. 外连接4. 自连接5. 子查询6. 合并查询7. 插入查询结果摘要前面我们学习了数据库设计时要满
阅读更多...
深度解析Java DTO(最新推荐)

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO（DataTransferObject）是一种用于在不同层（如Controller层、Service层）之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO？DTO的核心特点：二、为什么需要DTO？（对比Entity）三、实际应用场景解析
阅读更多...
深度解析Java项目中包和包之间的联系

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次，点赞13次，收藏8次。本文详细介绍了Java分层架构中的几个关键包：DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1
阅读更多...
从入门到精通C++11 ＜chrono＞ 库特性

从入门到精通C++11 ＜chrono＞ 库特性

《从入门到精通C++11＜chrono＞库特性》chrono库是C++11中一个非常强大和实用的库,它为时间处理提供了丰富的功能和类型安全的接口,通过本文的介绍,我们了解了chrono库的基本概念... 目录一、引言1.1 为什么需要<chrono>库1.2<chrono>库的基本概念二、时间段（Durat
阅读更多...
深度解析Python装饰器常见用法与进阶技巧

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器（Decorator）是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧
阅读更多...
解析C++11 static_assert及与Boost库的关联从入门到精通

解析C++11 static_assert及与Boost库的关联从入门到精通

《解析C++11static_assert及与Boost库的关联从入门到精通》static_assert是C++中强大的编译时验证工具,它能够在编译阶段拦截不符合预期的类型或值,增强代码的健壮性,通... 目录一、背景知识：传统断言方法的局限性1.1 assert宏1.2 #error指令1.3 第三方解决
阅读更多...
深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

《深度解析SpringBoot拦截器Interceptor与过滤器Filter的区别与实战指南》本文深度解析SpringBoot中拦截器与过滤器的区别,涵盖执行顺序、依赖关系、异常处理等核心差异,并... 目录Spring Boot拦截器（Interceptor）与过滤器（Filter）深度解析：区别、实现
阅读更多...
深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制（JDK/CGLIB）、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实
阅读更多...
SpringBoot开发中十大常见陷阱深度解析与避坑指南

SpringBoot开发中十大常见陷阱深度解析与避坑指南

《SpringBoot开发中十大常见陷阱深度解析与避坑指南》在SpringBoot的开发过程中,即使是经验丰富的开发者也难免会遇到各种棘手的问题,本文将针对SpringBoot开发中十大常见的“坑... 目录引言一、配置总出错？是不是同时用了.properties和.yml？二、换个位置配置就失效？搞清楚加
阅读更多...
从入门到精通MySQL 数据库索引(实战案例)

从入门到精通MySQL 数据库索引(实战案例)

《从入门到精通MySQL数据库索引(实战案例)》索引是数据库的目录,提升查询速度,主要类型包括BTree、Hash、全文、空间索引,需根据场景选择,建议用于高频查询、关联字段、排序等,避免重复率高或... 目录一、索引是什么？能干嘛？核心作用：二、索引的 4 种主要类型（附通俗例子）1. BTree 索引（
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2