擅长:python、mysql、java
<p>我建议您尝试使用<a href="http://man7.org/linux/man-pages/man5/tmpfs.5.html" rel="nofollow noreferrer">tmpfs</a>。在</p>
<p>它是一个linux特性,允许您创建一个虚拟文件系统,所有文件都存储在RAM中。这允许非常快速的文件访问,只需要一个bash命令即可设置。在</p>
<p>除了非常快速和直截了当之外,它在您的案例中还有许多优势:</p>
<ul>
<li>不需要接触当前代码-数据集的结构保持不变</li>
<li>创建共享数据集不需要额外的工作-只需<code>cp</code>将数据集放入<code>tmpfs</code></li>
<li>通用接口——作为一个文件系统,你可以很容易地将内存上的数据集与系统中不需要用python编写的其他组件集成在一起。例如,在你的容器内使用它很容易,只需将挂载目录传递到容器中即可。在</li>
<li>将适合其他环境-如果您的代码必须在另一台服务器上运行,<code>tmpfs</code>可以调整并交换页面到硬盘驱动器。如果你必须在没有空闲RAM的服务器上运行这个程序,你可以把你所有的文件都放在一个普通的文件系统的硬盘上,而不需要接触你的代码。在</li>
</ul>
<p>使用步骤:</p>
<ol>
<li>创建一个tmpfs-<code>sudo mount -t tmpfs -o size=600G tmpfs /mnt/mytmpfs</code></li>
<li>复制数据集-<code>cp -r dataset /mnt/mytmpfs</code></li>
<li>将当前数据集的所有引用更改为新数据集</li>
<li>享受</li>
</ol>
<p/><hr/>
<strong>编辑:</strong>
<p>在某些情况下,<code>ramfs</code>可能比<code>tmpfs</code>快,因为它不实现页交换。要使用它,只需在上面的说明中将<code>tmpfs</code>替换为<code>ramfs</code>。在</p>