获取一个空结果

2024-04-26 04:50:20 发布

您现在位置：Python中文网/ 问答频道 /正文
2303 3

我是一个新的使用刮刮我得到了一个空的结果与这一页。我试着爬过这个页面https://www.fincaraiz.com.co/finca-raiz/arrendamientos/medellin/以获取有关麦德林的价格、大小和房产分布的信息，但我做不到

我试图找到一些节点，但shell只显示我请求的信息´不存在。在那个页面的shell后面只有html标记

我用这个来获得一些结果，但它不起作用

response.css('*').getall()

这是实际结果

[<Selector xpath='descendant-or-self::*' data='<html></html>'>]

还有这个

['<html></html>']

谢谢


Tags： httpscom信息节点htmlwww价格页面
1条回答
网友
1楼 · 发布于 2024-04-26 04:50:20

您需要设置User-Agent头以获得正确的响应：

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36" https://www.fincaraiz.com.co/finca-raiz/arrendamientos/medellin/

只需编辑settings.py：

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'

之后，您将能够获取所有属性URL：

response.xpath('//a[.//h2]/@href').getall()

相关问题 更多 >

    编程相关推荐