如何在scray中模拟XHR请求来动态加载网页?

2024-05-28 23:42:08 发布

您现在位置:Python中文网/ 问答频道 /正文

我在爬奥尔克斯.英寸站点http://www.olx.in/newdelhi/bmw/,我已将此URL设置为start_url。在

现在转到下一页,因为它不是普通的HTML,而是动态的,所以在network选项卡中,next按钮使用POST方法创建了一个XHR请求。现在我必须在request方法中模拟它(我猜…),但我无法确定它的参数是什么。在

我是python和web抓取新手,如果太笼统的话,我很抱歉,但任何帮助都将不胜感激。在


Tags: 方法inhttpurl站点htmlwww动态
1条回答
网友
1楼 · 发布于 2024-05-28 23:42:08

您应该看看FormRequest,它使您能够通过httppost发送数据。如您所见,next按钮使用一些表单数据创建了对http://www.olx.in/ajax/newdelhi/search/list/的请求。只需使用当前Response对象中所需的值填充formdata参数。当您尝试建立分页时,您应该检查this page如何正确地进行分页。在

相关问题 更多 >

    热门问题