2024-06-17 12:15:54 发布
网友
Python-使用cPickle加载先前保存的pickle会占用太多内存?在
我的pickle文件大约为340MB,但在加载时占用了6gb内存的29%。这似乎有点太过分了。pickle文件是字典。这样合适吗? 使用的代码:
import cPickle as pickle file = pickle.load( file_handle )
谢谢
我总是有记忆问题的大尖笔和副词。因此,我最终通过pprint将对象写入文件中,然后通过自定义模块加载器导入这些文件,以将数据返回到process作用域中。工作正常,不浪费内存。在
大约1.7GB似乎有点多,但并非不可能。数据在被pickle之前占用了多少内存?在
在取消拾取后,数据占用的内存量应该与它被pickle之前相同,它在磁盘上的格式有多大其实并不重要。在
我总是有记忆问题的大尖笔和副词。因此,我最终通过pprint将对象写入文件中,然后通过自定义模块加载器导入这些文件,以将数据返回到process作用域中。工作正常,不浪费内存。在
大约1.7GB似乎有点多,但并非不可能。数据在被pickle之前占用了多少内存?在
在取消拾取后,数据占用的内存量应该与它被pickle之前相同,它在磁盘上的格式有多大其实并不重要。在
相关问题 更多 >
编程相关推荐