保存9GB数据帧时发生Pickle内存错误

Question

我从大约100个文件夹中读取图像到dataframe中，每个文件夹在dataframe中都有一行。在阅读完这些图片后，我想把它们保存到pkl文件中。当我使用

 pd.to_pickle(dataset,'.\\dataset.pkl')

内存错误显示，我尝试了不同的方法，如hdf5，parquest，但仍然显示错误。以下是数据帧信息：

^{pr2}$

我把数据帧分成10个部分：

splits=np.array_split(df, 10)
with open('split_pickle.pkl', 'wb') as pickle_out:  
pickle.dump(splits, pickle_out)

但仍显示内存错误：

          Traceback (most recent call last)
         <ipython-input-23-51fab4cebf2c> in <module> 
         3 with open('dev_split_pickle.pkl', 'wb') as pickle_out:
       ----> 4     pickle.dump(splits, pickle_out)

 MemoryError: