我用python编写了一个脚本,从craigslist中抓取五个条目的“name”和“phone”。我面临的问题是,当我运行脚本时,它只给出三个结果,而不是五个结果。更具体地说,由于前两个链接在他们的页面中没有其他链接(联系信息),因此他们不需要再次请求打开任何其他页面。然而,这两个链接没有(联系信息)链接不能渗透通过“如果没有网页链接:”在我的第二个功能声明,永远不会得到打印。如何修复此缺陷,以便无论是否有电话号码刮板将打印所有五个结果。你知道吗
我正在尝试的脚本:
import re ; import requests ; from lxml import html
base = "http://bangalore.craigslist.co.in"
url_list = [
'http://bangalore.craigslist.co.in/reb/d/flat-is-for-sale-at-cooke-town/6266183606.html',
'http://bangalore.craigslist.co.in/reb/d/prestige-sunnyside/6259128505.html',
'http://bangalore.craigslist.co.in/reb/d/jayanagar-2nd-block-4000-sft/6221720477.html',
'http://bangalore.craigslist.co.in/reb/d/prestige-ozone-type-3-r-villa/6259928614.html',
'http://bangalore.craigslist.co.in/reb/d/zed-homes-3-bedroom-flat-for/6257075793.html'
]
def get_link(medium_link):
response = requests.get(medium_link).text
tree = html.fromstring(response)
try:
name = tree.cssselect('span#titletextonly')[0].text
except IndexError:
name = ""
try:
link = base + tree.cssselect('a.showcontact')[0].attrib['href']
except IndexError:
link = ""
parse_doc(name, link)
def parse_doc(title, ano_page_link):
if ano_page_link:
page = requests.get(ano_page_link).text
tel = re.findall(r'\d{10}', page)[0] if re.findall(r'\d{10}', page) else ""
print(title, tel)
if __name__ == '__main__':
for link in url_list:
get_link(link)
结果是:
Jayanagar 2nd Block, 4000 sft Plot for Sale 9845012673
PRESTIGE OZONE TYPE D 3 B/R VILLA FOR SALE 9611226364
T ZED HOMES 3 BEDROOM FLAT FOR SALE 9611226364
我期待的结果是:
A Flat is for sale at Cooke Town
Prestige Sunnyside
Jayanagar 2nd Block, 4000 sft Plot for Sale 9845012673
PRESTIGE OZONE TYPE D 3 B/R VILLA FOR SALE 9611226364
T ZED HOMES 3 BEDROOM FLAT FOR SALE 9611226364
注意,例如,在http://bangalore.craigslist.co.in/reb/d/flat-is-for-sale-at-cooke-town/6266183606.html上没有与
'a.showcontact'
选择器匹配的链接,因此下面的块将返回
link = ""
然后,当调用
if ano_page_link:
时,if
块中的所有命令都会被忽略,因为条件if ""
是False
,不会输出任何内容您可以尝试以下方法:
通过将收集数据和打印数据这两个任务分开,您可以获得更大的灵活性。以后当您想扩展时,添加更多信息会更容易。你知道吗
相关问题 更多 >
编程相关推荐