使用Mechanize和BeautifulSoup（Python）抓取需要启用JavaScript的网站

Question

所以呢，我有一个网站想要抓取数据，但我了解到mechanize这个工具不支持JavaScript，而这个网站又很固执，必须在支持JavaScript的浏览器上才能使用，这两者结合起来就不太好办了……

我在寻找一些解决办法，想知道该怎么做……

网址： https://members.iracing.com/membersite/login.jsp

Answer 1

我在简单的网站上用JavaScript时，会使用Chickenfoot这个工具；而在更复杂的网站上，我则会用Webkit。

Answer 2

根据你需要做的事情，你可以使用webkit来解析网页，这样可以在JavaScript执行完后获取到最终的HTML内容。然后，你可以使用任何一个不错的HTML解析器，比如beautifulsoup，来处理后面的工作。