如果我必须为python只选择一个html抓取库，我应该选择哪个

Question

我需要做大量的html解析/屏蔽/搜索引擎/爬行。在

目前有很多库像scrpy，beautifulsoup，lxml，lxml2请求，pyquery。在

现在我不想尝试每一个然后再决定。基本上我想继续学习一个，然后详细研究，然后经常使用。在

那么，我应该去哪个库才能执行上面提到的所有功能呢。即使对于不同的问题可能有不同的解决方案。但我想要一个库，可以做所有的事情，即使它需要时间编码，但应该是可能的

有可能在lxml中建立索引吗？PyQuery与lxml相同还是不同？在

Answer 1

由于许多HTML文档格式不好，而是一堆标记（有时甚至没有正确嵌套），您可能希望使用beauthulsoup而不是基于xml的解析器。在