在python中浏览/解析html页面

Question

我试图把我需要的插件集合在一起，以便与html页面交互。我需要的范围从简单的浏览和与网页的按钮或链接交互（就像“在这个文本框中写一些文本并按下这个按钮”）到解析html页面和向服务器发送自定义的get/post消息。 我使用的是python3，到目前为止，我有请求进行简单的网页加载、自定义get和post消息， BeautifulGroup用于解析HTML树，我正在考虑尝试Mechanize以实现简单的web页面交互。在

到目前为止，有没有其他类似于我使用的3个库的库？是否有某种聚集的地方，所有的Python库都可以在那里闲逛？因为有时候我发现很难找到我想要的东西。在

Answer 1

用于web抓取的工具/库集实际上取决于多个因素：目的、要抓取的页面的复杂性、速度、限制等

以下是当今Python中web抓取领域流行的工具列表：

• selenium
• Scrapy
• splinter
• ghost.py
• requests（和grequests）
• mechanize

还有HTML解析器，它们是最流行的：

• BeautifuSoup
• lxml

Scrapy可能是在Python中为web抓取创建的最好的东西。这是一个真正的web抓取框架，它使它变得简单明了，Scrapy提供了您可以想象的web爬行的一切。在

注意：如果在加载过程中涉及到很多AJAX和js的东西，那么形成页面需要一个真正的浏览器来处理。这就是selenium帮助的地方——它利用了一个真正的浏览器，允许你通过WebDriver与之交互。在

另请参见：

• Web scraping with Python
• Headless Selenium Testing with Python and PhantomJS
• HTML Scraping
• Python web scraping resource
• Parsing HTML using Python

希望有帮助。在