剪贴画：提取链接和纹理

Question

我是新来刮，我正在努力刮宜家网站的网页。具有给定位置列表的基本页here。

Myitems.py文件如下：

import scrapy


class IkeaItem(scrapy.Item):

    name = scrapy.Field()
    link = scrapy.Field()

蜘蛛如下：

import  scrapy
from ikea.items import IkeaItem
class IkeaSpider(scrapy.Spider):
    name = 'ikea'

    allowed_domains = ['http://www.ikea.com/']

    start_urls = ['http://www.ikea.com/']

    def parse(self, response):
        for sel in response.xpath('//tr/td/a'):
            item = IkeaItem()
            item['name'] = sel.xpath('a/text()').extract()
            item['link'] = sel.xpath('a/@href').extract()

            yield item

在运行文件时，我没有得到任何输出。json文件输出如下：

[[{"link": [], "name": []}

我要查找的输出是位置和链接的名称。我什么也得不到。 我哪里做错了？

Answer 1

在项目字段的xpath表达式中有一个简单的错误。循环已经遍历了a标记，不需要在内部xpath表达式中指定a。换言之，当前您正在搜索a标记内的a标记内的td标记内的tr。显然结果是什么都没有。

用text()替换a/text()，用@href替换a/@href。

（已测试-对我有效）

Answer 2

用这个。。。。

    item['name'] = sel.xpath('//a/text()').extract()
    item['link'] = sel.xpath('//a/@href').extract()