Python大列表和数据库输入

Question

我必须解析HTML文件，其中可以多达50万个链接。 其中40万是我想要的。你知道吗

我是否应该将满足条件的所有链接放入新列表，然后放入此列表的元素，并将其放入数据库。你知道吗

或者当我找到满足条件的链接时，将其添加到数据库（sqlite）（并提交它）。 大量提交不是问题吗？你知道吗

我不想在电源等故障的情况下丢失数据。这就是为什么我要在插入数据库后提交。你知道吗

如何最好地在数据库中放置大量项？你知道吗

Answer 1

如果这些链接分布在多个文件中，那么在处理每个文件之后提交又如何呢？然后你也可以记住你处理过哪些文件。你知道吗

对于单个文件，请在每次提交后记录文件偏移量，以便干净地继续。你知道吗

Answer 2

考虑一下每1000条左右的记录就提交一次

Answer 3

您可以尝试使用noSQL数据库，比如mongo。使用mongo，我添加了50万个文档，每个文档中有6个字段，大约15秒（在我的旧笔记本电脑上），对于不难的查询，大约0.023秒。你知道吗