如何持久地将数据映射到页面文件中?

2022-09-28 21:19:37 发布

您现在位置:Python中文网/ 问答频道 /正文

np.memmapmemory-mapsNumpy arrays to pagefile-在一定范围内;一旦超过pagefile容量,数组将自动从pagefile取消映射。我计划将页面文件大小大大增加到80GB+,因此这在短期中应该不是一个问题-问题是,我不必稍后重新映射数组-即通过将它们持久地映射到页面文件。你知道吗

预期用途:使用NVMe SSD作为“伪RAM”,以RAM读取速度的10%加速深度学习,方法是将整个数据集加载到内存中(但一次只能访问500MB)。你知道吗

如何做到这一点?谢谢你的帮助。你知道吗


Tags: 文件tonp页面数组用途计划ram容量ssdarraysnvmepagefilememmapmemorymapsnumpy