响应与启动u不同

2024-03-29 11:42:47 发布

您现在位置:Python中文网/ 问答频道 /正文

我在scrapy shell中练习xpath。我工作的网页是

http://bxt.harbin.gov.cn/more.php?nameid=1&frameid=1&colorid=1

我想把表中的数据拼凑起来。但在我打字之后

scrapy shell http://bxt.harbin.gov.cn/more.php?nameid=1&frameid=1&colorid=1

在windowscmd中,我发现在“Available Scrapy objects”下

[s]   response   <200 http://bxt.harbin.gov.cn/more.php?nameid=0>

响应url与我要处理的url不同。错误的url没有我要提取的数据。你知道为什么会这样吗?谢谢!你知道吗


Tags: 数据httpurlmoreshellcnxpathgov
1条回答
网友
1楼 · 发布于 2024-03-29 11:42:47

所需的表位于iframe中—转到从中加载iframe的URL:

$ scrapy shell http://bxt.harbin.gov.cn/hrb_bzbxt/list_hf.php
In [1]: for row in response.xpath("//table[3]//tr[position() > 1]"):
    print row.xpath(".//td[1]/text()").extract()[0]
   ...:  
551626
551617
551616
551614
551612
551611
...
551521

在上面的演示中,将打印每个表行的第一个单元格的内容。你知道吗

相关问题 更多 >