Scrapy - 第二次爬取时图片下载不工作

Question

我写了一个爬虫程序，用来从一个网站下载数据，并跟踪链接获取更详细的数据。这个爬虫还使用了默认的scrapy图片处理方式来下载图片。目前为止，一切都运行得很好。

但是，当我第二次启动爬虫时（换了一个搜索词），图片下载就不再工作了。爬取数据的功能正常，没有出现任何错误。

这是我的爬虫代码：

class DiscoSpider(BaseSpider):

    def __init__(self, query):
        super( BaseSpider, self ).__init__()
        self.name = "discogs"
        self.allowed_domains = ["discogs.com"]
        self.start_urls = [
            "http://www.discogs.com/search?q=%s&type=release" % query
        ]

    # parse all releases for the current search
    def parse(self, response):
        logging.debug('scrapy.parse')
        hxs = HtmlXPathSelector(response)
        li = hxs.select("//div[@id='page_content']/ol/li")

        items = []
        for l in li:
            item = DiscogsItem()

            ...

            # get the link for the callback for the tracklist
            link = l.select("a/@href").extract()[0]
            item['link'] = '' if link == None else link

            # get the img location
            img = l.select("a/img/@src").extract() 
            item['image_urls'] = [None] if img == None else img 

            # get the url for the tracklist callback
            url = urlparse.urljoin('%s%s' % ('http://www.', self.allowed_domains[0]), link)

            # request and callback to get tracklist for release
            item = Request(url, meta={'item':item}, callback=self.parse_tracklist)

            items.append(item)
            yield item        

    # callback to get the tracklist for each release
    def parse_tracklist(self, response):
        item = response.request.meta['item']

        hxs = HtmlXPathSelector(response)
        rows = hxs.select("//div[@class='section_content']/table[@class='playlist mini_playlist']/tr")
        tracklist = []

        for row in rows:
            track = {}

            title = row.select("td[@class='track']/span[@class='track_title']/text()").extract()
            track['title'] = '' if title in [None, '', []] else self.clean_track(title[0])

            ...

            tracklist.append(track)

        item['tracklist'] = tracklist    
        yield item

这是我的项目内容：

class DiscogsItem(Item):
    # define the fields for your item here like:
    link = Field()
    artist = Field()
    release = Field()
    label = Field()
    year = Field()
    tracklist = Field()
    image_urls = Field()
    images = Field()
    thumb = Field()

在我的scrapy设置中：

ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline']
IMAGES_STORE = '/home/f/work/py/discogs/tmp'
CONCURRENT_REQUESTS = 100
CONCURRENT_REQUESTS_PER_IP = 20
IMAGES_EXPIRES = 0

我是在一个单独的进程中通过PyQt-UI运行爬虫的，而且我对Scrapy、PyQT和StackOverflow都很陌生（抱歉格式不好）。

我使用的是Xubuntu 12.04系统，Python 2.7，PyQt4和Scrapy 0.12.0.2546。

有没有人知道为什么第二次下载图片不成功呢？

提前谢谢大家。

Answer 1

我现在自己回答自己的问题，虽然我其实也不太清楚问题出在哪里。
我做的就是把蜘蛛的构造函数改成这样：

class DiscogsSpider(CrawlSpider):

    name = "discogs"
    allowed_domains = ["discogs.com"]

    def __init__(self, query):
        super( DiscogsSpider, self ).__init__()
        self.start_urls = [
            "http://www.discogs.com/search?q=%s&type=release" % query
        ]

我现在还改成继承CrawlSpider，而不是BasSpider。现在图片下载的功能正常了，跟我预期的一样。

谢谢大家。