我正在使用Python通过ScraperWiki创建一个scraper,但是我对得到的结果有一个问题。我的代码是基于ScraperWiki的文档的basic example,所有的东西看起来都很相似,所以我不确定我的问题在哪里。对于我的结果,我得到了页面上的第一个文档标题/URL,但是循环似乎有问题,因为它不会返回后面的剩余文档。任何建议都将不胜感激!你知道吗
import scraperwiki
import requests
import lxml.html
html = requests.get("http://www.store.com/us/a/productDetail/a/910271.htm").content
dom = lxml.html.fromstring(html)
for entry in dom.cssselect('.downloads'):
document = {
'title': entry.cssselect('a')[0].text_content(),
'url': entry.cssselect('a')[0].get('href')
}
print document
您需要使用类
downloads
遍历div
中的a
标记:印刷品:
相关问题 更多 >
编程相关推荐