使用Scrapy解析网站地图
我想用scrapy这个工具来抓取网站地图上的链接。我对这个应用了解不多，所以如果你能提供一些链接、信息或者文档，我会很感兴趣。
谢谢！
2 个回答
0
所有的文档都可以在 http://doc.scrapy.org/ 找到。教程也可以在 scrapy.org 上找到。
关于你的问题，可以参考这个 StackOverflow 的问题：如何使用 scrapy 的 XmlFeedSpider 解析 sitemap.xml 文件？
12
为了这个目的，Scrapy的主程序中刚刚添加了一个新的通用爬虫。它将在下一个版本（Scrapy 0.14）中发布。