2024-05-28 23:42:08 发布
网友
我在爬奥尔克斯.英寸站点http://www.olx.in/newdelhi/bmw/,我已将此URL设置为start_url。在
http://www.olx.in/newdelhi/bmw/
start_url
现在转到下一页,因为它不是普通的HTML,而是动态的,所以在network选项卡中,next按钮使用POST方法创建了一个XHR请求。现在我必须在request方法中模拟它(我猜…),但我无法确定它的参数是什么。在
POST
我是python和web抓取新手,如果太笼统的话,我很抱歉,但任何帮助都将不胜感激。在
您应该看看FormRequest,它使您能够通过httppost发送数据。如您所见,next按钮使用一些表单数据创建了对http://www.olx.in/ajax/newdelhi/search/list/的请求。只需使用当前Response对象中所需的值填充formdata参数。当您尝试建立分页时,您应该检查this page如何正确地进行分页。在
FormRequest
http://www.olx.in/ajax/newdelhi/search/list/
Response
formdata
您应该看看
FormRequest
,它使您能够通过httppost发送数据。如您所见,next按钮使用一些表单数据创建了对http://www.olx.in/ajax/newdelhi/search/list/
的请求。只需使用当前Response
对象中所需的值填充formdata
参数。当您尝试建立分页时,您应该检查this page如何正确地进行分页。在相关问题 更多 >
编程相关推荐