处理大量的数据

Question

因此，我正在进行参数能量模拟，最终得到了存储在.CSV文件中的500GB+的数据。我需要能够处理所有这些数据来比较结果，并了解不同参数的影响。你知道吗

每个csv文件名都包含用于模拟的参数信息，因此我无法合并这些文件。你知道吗

我通常使用pandas和定义类将.csv文件加载到python中。但是现在（有了所有这些数据）没有足够的内存来做这件事。你知道吗

你能给我指出一种处理这些数据的方法吗？我需要能够做绘图和比较csv文件。你知道吗

谢谢你抽出时间。你知道吗

Answer 1

Convert将csv文件复制到hdf5，创建csv文件是为了处理大量复杂的数据集。它与pandas以及otherlibraries一起工作。你知道吗