使用Mechanize + BeautifulSoup（Python）抓取需要启用Javascript的网站

Question

所以。。我得到了这个网站，我试图去刮，但据我所知，缺乏支持 mechanizefor.js，一个需要启用javascript浏览器的stuborn站点是 不是很好的组合。。。在

我在找主意，关于如何做到这一点。。。在

网址：https://members.iracing.com/membersite/login.jsp

Answer 1

根据您需要做什么，您可以使用webkit来解析页面，这将允许您在javascript执行之后获得最终的html。然后，您可以使用任何像样的html解析器，例如beauthoulsoup来完成其余的工作。在

Answer 2

对于JavaScript，我使用Chickenfoot表示简单的网站，Webkit表示更复杂的网站。在