我正在抓取一个网站,其中我需要提交一个表单,并等待通过javascript加载数据。我使用的是FormRequest.form_reponse()
函数,但它调用回调函数时没有等待数据加载,是否有办法等待一段时间,直到数据加载。你知道吗
return FormRequest.from_response(response,formdata={
'District': '01',
'AccountIdentifier':'002345'},
callback=self.fatchdata)```
Tags:
Scrapy不支持JS渲染。您应该使用Splash或Chrome来处理JS数据。你知道吗
不过,更好的选择是在chromedevtools网络选项卡上检查请求,并手动伪造所需的请求。你知道吗
相关问题 更多 >
编程相关推荐