Python使用cPickle加载先前保存的pickle会占用太多内存?

2024-06-17 12:15:54 发布

您现在位置:Python中文网/ 问答频道 /正文

Python-使用cPickle加载先前保存的pickle会占用太多内存?在

我的pickle文件大约为340MB,但在加载时占用了6gb内存的29%。这似乎有点太过分了。pickle文件是字典。这样合适吗?
使用的代码:

import cPickle as pickle

file = pickle.load( file_handle )

谢谢


Tags: 文件内存代码import字典asloadpickle
2条回答

我总是有记忆问题的大尖笔和副词。因此,我最终通过pprint将对象写入文件中,然后通过自定义模块加载器导入这些文件,以将数据返回到process作用域中。工作正常,不浪费内存。在

大约1.7GB似乎有点多,但并非不可能。数据在被pickle之前占用了多少内存?在

在取消拾取后,数据占用的内存量应该与它被pickle之前相同,它在磁盘上的格式有多大其实并不重要。在

相关问题 更多 >