Python JSON 解析：可以部分加载以加速吗？

Question

我正在用Python处理很大的文本文件。每一行都是一条完整的JSON消息，而且可能非常长。我需要把每一行的信息插入到数据库里。这些信息很简单：就是这一行的长度加上每条消息里包含的唯一ID。所以每一行的格式是这样的：

{"field1":"val1", ..., "ID":"12345", ..., "fieldK":"valK"}

我需要从消息中提取出“12345”。

现在我用json.loads()把整个字符串加载进来，然后找到ID，其他的就不管了。

但是我的代码运行得太慢了，我需要加快速度。我在想有没有办法比加载整个字符串更快地提取“ID”。一个选择是搜索字符串中的“ID”，然后处理:"12345"。不过如果消息中其他地方也有“ID”这个子串，那样可能会出问题。

所以有没有办法部分加载这一行，以找到ID，这样既能保证稳健性，又比加载整行要快呢？

Answer 1

我建议你可以考虑几个方向：

如果你的输入数据非常大，把它全部加载到内存中可能会浪费资源。逐行加载和解析可能会更快。

如果这样做还是不行，那么想办法在文件中搜索正确的ID也是个不错的主意。找到正确的ID:号码时，记得确认一下输入是否有效。所以你应该：

1. 搜索你预期的ID（可以用正则表达式或者其他方法）。
2. 如果找到了匹配的内容，实际解析这一行，确保它是有效的。如果不是（比如说，ID:只是嵌在某个字符串里），那就丢掉这条记录，继续搜索。

因为不合法的情况（第2点）应该是比较少见的，所以验证过程不需要特别高效。