如何使用Scrapy跟随链接

Question

如何在这个例子中跟踪链接：http://snippets.scrapy.org/snippets/7/？脚本在访问完第一页的链接后就停止了。

class MySpider(BaseSpider):
"""Our ad-hoc spider"""
name = "myspider"
start_urls = ["http://stackoverflow.com/"]

question_list_xpath = '//div[@id="content"]//div[contains(@class, "question-summary")]'

def parse(self, response):
    hxs = HtmlXPathSelector(response)

    for qxs in hxs.select(self.question_list_xpath):
        loader = XPathItemLoader(QuestionItem(), selector=qxs)
        loader.add_xpath('title', './/h3/a/text()')
        loader.add_xpath('summary', './/h3/a/@title')
        loader.add_xpath('tags', './/a[@rel="tag"]/text()')
        loader.add_xpath('user', './/div[@class="started"]/a[2]/text()')
        loader.add_xpath('posted', './/div[@class="started"]/a[1]/span/@title')
        loader.add_xpath('votes', './/div[@class="votes"]/div[1]/text()')
        loader.add_xpath('answers', './/div[contains(@class, "answered")]/div[1]/text()')
        loader.add_xpath('views', './/div[@class="views"]/div[1]/text()')

        yield loader.load_item()

我尝试过更改：

class MySpider(BaseSpider):

改成

class MySpider(CrawlSpider)

并添加

rules = (
    Rule(SgmlLinkExtractor(allow=()),
         callback='parse',follow=True),
)

但是它没有爬取整个网站。

谢谢，

Answer 1

是的，你需要创建一个CrawlSpider的子类，并把parse这个函数改个名字，比如叫parse_page。这是因为CrawlSpider会用parse来开始抓取数据。