使用Scrapy从使用javascrip生成数据的网站获取信息

2024-04-25 20:19:20 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图用Scrapy抓取一个网站,但是网站的URL没有改变,页面是用java脚本加载的。你知道吗

这是我执行搜索前网站和URL的外观: image 1

这是我执行搜索后网站和URL的外观: image 2

在这些条件下,如何使用Scrapy从站点获取数据?你知道吗


Tags: 脚本url站点网站页面java条件外观
1条回答
网友
1楼 · 发布于 2024-04-25 20:19:20
  • 你需要分析网站如何加载数据。 也许你可以读取URL和HTTP头。你知道吗
  • 使用一些工具(如POSTman)来模拟加载数据的过程。你知道吗
  • 使用scrapy来实现这个过程。你知道吗

相关问题 更多 >