读取超过个数据时出现内存错误

Question

我需要读取多个波形（大约62个种子文件） 它们中的每一个都有1728000的数组长度，在附加所有文件之后，再将它们连接到一个文件。最后，重塑最终阵列。你知道吗

我用的是8核的32 Ram内存机。请，我想修复的内存错误信息，如附在此图片。 致以最诚挚的问候

Answer 1

您的计算机内存不足，无法加载该数组，它太大了。你知道吗

这样想想，int32在Python中需要24个字节，您需要将4517769183加载到内存中，这比144GB多一点。你知道吗

您可以使用NumPy的^{}功能将该文件存储在磁盘上，而不是存储在内存中，但请记住结果文件的大小！你知道吗

您还可以查看xarray或theano，这两个库都是为处理像这样的数组而设计的；只是将它们逐个加载到内存中。你知道吗

或者您可以手动读取数据，然后在丢弃数据并加载下一个数据之前对每个数据进行训练。你知道吗