请求后如何等待?

2024-04-19 09:00:12 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在抓取一个网站,其中我需要提交一个表单,并等待通过javascript加载数据。我使用的是FormRequest.form_reponse()函数,但它调用回调函数时没有等待数据加载,是否有办法等待一段时间,直到数据加载。你知道吗

  return FormRequest.from_response(response,formdata={
            'District': '01',
            'AccountIdentifier':'002345'},
            callback=self.fatchdata)```

Tags: 数据函数fromform表单return网站response
1条回答
网友
1楼 · 发布于 2024-04-19 09:00:12

Scrapy不支持JS渲染。您应该使用Splash或Chrome来处理JS数据。你知道吗

不过,更好的选择是在chromedevtools网络选项卡上检查请求,并手动伪造所需的请求。你知道吗

相关问题 更多 >