将数据集加载到内存中，以便在python中进行将来的计算

Question

我有一个很大的数据集，我在上面做实验。使用python程序将数据集从文件加载到内存需要30分钟。然后我在数据集上执行算法的变体。每次我必须改变算法时，我必须再次将数据集加载到内存中，这会占用30分钟。你知道吗

是否有任何方法可以将数据集一次性地加载到内存中。然后每次运行一个算法的变体时，只使用预加载的数据集？你知道吗

我知道这个问题有点抽象，欢迎提出改进问题框架的建议。谢谢。你知道吗

编辑：

它是一个文本文件，包含6 GB左右的图形数据。如果我只加载数据集的一部分，它就不能生成一个非常好的图形。加载数据集时不进行计算。你知道吗

Answer 1

您可以使用类似于Matlab的环境，如Spyder。这甚至允许您在算法执行期间的任何时候拥有工作区中所有变量的列表。你知道吗

Answer 2

您可以编写一个非常快速的CLI来加载数据，然后请求一个python文件名，然后在数据上eval()。。。你知道吗