下载加载了JavaScript的页面

2 投票

2 回答

777 浏览

提问于 2025-04-16 11:07

我正在查看的例子是morningstar.com。这个网站的大部分内容都是通过一个javascript函数加载的。当我使用wget这个工具时，无法获取到在浏览器中实际显示的数据（因为wget无法理解javascript代码）。

有没有什么方法可以执行javascript代码，并下载完整的页面（通过命令行或代码）？

SRT_stocFund.LoadAComponent("sfcontent", "C", "is", "en-us","USA", "", "USA", null,{showSubTab: false});

javascript wget 数据提取命令行工具网页抓取前端技术网络爬虫动态内容

2 个回答

在Firefox浏览器上安装Firebug这个插件，然后看看“网络”这个标签。这里会显示Firefox为一个网页发出的所有网络请求。你可以从中复制任何Ajax请求的链接（在XHR标签里），并查看它的响应内容。把这个Ajax链接放到wget里（如果是POST请求的话，就稍微复杂一些）。

回答于 2025-04-16 由 Python大师

分享举报

对于这个特定的页面，你可以试试用 wget 命令直接获取“导出”按钮的链接吗？显然，这样做只有在你想要使用网站上显示的实际数据时才有效，因为提取的内容就是这些数据。

回答于 2025-04-16 由 Python大师

分享举报