在Python中对基于Javascript的网页进行屏幕抓取

Question

我正在用Python开发一个网页数据抓取工具。但是，当我查看网页的源代码时，我发现大部分数据都是通过Javascript加载的。

有没有什么办法可以抓取基于Javascript的网页呢？在Python中有没有相关的工具？

谢谢！

Answer 1

你可以使用QtWebKit这个模块，它是PyQt4库的一部分。

Answer 2

我使用的是webkit，这是Chrome和Safari浏览器背后的渲染引擎。通过Qt，有一些Python的接口可以使用webkit。

这里有一个完整的Python示例，展示如何执行JavaScript并提取最终的HTML。

Answer 3

抓取基于JavaScript的网站是可以做到的，使用的工具是selenium。特别是可以试试Selenium WebDriver这个功能。