如何使用由Javascript填充的Python从网站获取数据？

Question

我想从网站获取一些数据/值。我使用了beautifulsoup，当我试图从Python脚本中获取这些字段时，这些字段是空白的，而当我检查网页的元素时，我可以清楚地看到表行数据中有可用的值。 当我看到HTML源代码时，我也注意到它是空白的。 我想出了一个理由，该网站正在使用Javascript从自己的数据库中填充相应字段中的值。如果是这样，那么如何使用Python获取它们呢？在

Answer 1

针对Selenium和phantomjs的Python绑定（如果您希望使用无头浏览器作为后端）是适合此工作的工具。在

Answer 2

是的，你可以抓取JS数据，只是需要更多的黑客攻击。浏览器能做的任何事情，python都能做。在

如果您使用的是firebug，请查看network选项卡，看看您的数据来自哪个特定的请求。在chrome元素检查中，您也可以在名为network的选项卡中找到这些信息。只需按ctrl-F来搜索请求的响应内容。在

如果您找到了正确的请求，数据可能会嵌入到JS代码中，在这种情况下，您需要进行一些regex解析。如果幸运的话，格式是xml或json，在这种情况下，您可以使用相关的内置解析器。在