我看到了一些关于在python中查询JSON的问题,但是我没有完全找到我想要的东西。 我有两个JSON格式的大文件,其中每一行都是一条记录,例如
文件1:
{"x": 2, "y": 0}
{"x": 3, "y": 1}
{"x": 4, "y": 1}
文件2:
^{pr2}$我用
for line in infile:
Review = json.loads(line)
在插入“review”这一行之后,我做一些额外的操作来将这些记录插入dict中
这需要相当长的时间,因为每个文件都有大约100K行。 现在,如果我想查询这些文件(比如说,通过X连接),我必须再次遍历它们。我考虑过在python中使用某种Sqlite包来实现这一点,但它似乎太笨拙了。 有人知道最有效的方法是什么吗? 谢谢。在
SQLite3位于python标准库中,因此您已经拥有了它。您可以使用(“:memory:”)在内存中创建表,而不是使用普通连接字符串(详细信息请参阅上面链接的页面)。在
您正在对大量的内容执行数据库风格的操作,并且您希望能够快速执行这些操作:这意味着(a)一个数据库,(b)将所有内容加载到内存中。在
相关问题 更多 >
编程相关推荐