寻找避免使用python的方法json.dumps文件内存不足

2024-04-25 14:54:41 发布

您现在位置:Python中文网/ 问答频道 /正文

我在一个Ubuntu机器上运行一个python脚本,它将大量数据收集到一个类似JSON的树结构中,然后一次将所有数据转储到一个文件中。它对大树崩溃,并显示以下消息:

outs.write(json.dumps(dJSON,encoding='utf-8', ensure_ascii=False, indent=indent_val))
File "/usr/lib/python2.7/codecs.py", line 351, in write
   data, consumed = self.encode(object, self.errors)
MemoryError

我可以尝试移动到一个更大的有更多内存的盒子,但它可能不可用。我还可以将JSON转储到文件中的脚本分块重写,但这将需要大量的代码更改,而我正试图避免这些更改。在

所以问题是:是否有其他方法可以将更大的JSON树导出到文件中?


Tags: 文件数据self脚本机器json消息ubuntu