加载速度与内存：如何有效地从h5文件加载大型阵列

Question

我一直面临着以下问题：我必须循环num_objects = 897对象，对于每一个对象，我必须使用num_files = 2120h5文件。这些文件非常大，每个都是1.48 GB，我感兴趣的内容是每个文件中包含的3个大小为256 x 256 x 256的浮点数组（v1、v2和v3）。也就是说，循环看起来像：

for i in range(num_objects):
    ...
    for j in range(num_files):
       some operation with the three 256 x 256 x 256 arrays in each file

我当前加载它们的方法是在最内层的循环中执行以下操作：

f = h5py.File('output_'+str(q)+'.h5','r')
key1 = np.array(f['key1'])
v1=key1[:,:,:,0]
v2=key2[:,:,:,1]
v3=key3[:,:,:,2]

上述每次为每个对象加载文件的选项显然非常慢。另一方面，一次加载所有文件并将其导入字典会导致内存的过度使用，我的工作也会被终止。一些诊断：

• 上述方法对于每个文件、每个对象需要0.48秒，因此仅此操作总共花费10.5天（！）
• 我尝试将key1导出到npz文件，但实际上每个文件的速度慢了0.7秒
• 我将每个文件的v1、v2和v3分别导出到npz文件（即每个h5文件3个npz文件），但这总共只为我节省了1.5天

是否有人有其他想法/建议我可以尝试快速，同时不受过度内存使用的限制

Answer 1

如果我理解，你有2120.h5文件。对于每个文件，是否只读取datasetf['key1']中的3个数组？（或者是否有其他数据集？）如果您只/总是读取f['key1']，这是一个无法编程解决的瓶颈。使用SSD会有所帮助（因为I/O比HDD快）。否则，您将不得不重新组织数据。系统上的RAM数量将决定您可以同时读取的阵列数量。你有多少公羊

您可以通过一个小的代码更改获得一点速度v1=key1[:,:,:,0]将v1作为数组返回（v2和v3相同）。不需要将数据集f['key1']读入数组。这样做会使内存占用翻一番。（顺便问一下，是否有理由将数组转换为字典？）

下面的过程仅通过从h5pyf['key1']对象切片v1,v2,v3来创建3个数组。它会将每个循环的内存占用减少50%

f = h5py.File('output_'+str(q)+'.h5','r')
key1 = f['key1'] 
## key1 is returned as a h5py dataset OBJECT, not an array
v1=key1[:,:,:,0]
v2=key2[:,:,:,1]
v3=key3[:,:,:,2]

在HDF5方面，由于总是切掉最后一个轴，块参数可能会改善I/O。但是，如果要更改块形状，则必须重新创建.h5文件。因此，这可能不会节省时间（至少在短期内）

Answer 2

同意@kcw78，根据我的经验，瓶颈通常是与所需数据相比，您加载的数据太多。因此，除非需要，否则不要将数据集转换为数组，只对需要的部分进行切片（是需要整个[:,:,0]还是只需要它的一个子集？）

此外，如果可以，请更改循环的顺序，以便每个文件只打开一次

for j in range(num_files):
    ...
    for i in range(num_objects):
       some operation with the three 256 x 256 x 256 arrays in each file

另一种方法是使用外部工具（如h5copy）在更小的数据集中提取所需的数据，然后用python读取，以避免python的开销（老实说，这可能没有那么大）

最后，只要任务彼此相对独立，就可以使用多处理来利用CPU核心。你有一个例子here

Answer 3

h5py是数据表示类，它支持大多数NumPy数据类型，并支持传统的NumPy操作（如切片）和各种描述性属性（如形状和大小属性）

有一个很酷的选项，您可以使用create_dataset方法在启用chunked关键字的情况下将数据集表示为块：

dset = f.create_dataset("chunked", (1000, 1000), chunks=(100, 100))

这样做的好处是，您可以轻松地调整数据集的大小，现在就像您的情况一样，您只需读取一个数据块，而不必读取整个1.4GB的数据

但是要注意分块的含义：不同的数据大小在不同的分块大小中效果最好。autochunk有一个选项，可以自动选择此块大小，而不是通过点击和试用：

dset = f.create_dataset("autochunk", (1000, 1000), chunks=True)

干杯