def parse(self, response):
for sel in response.xpath('//tbody/tr'):
item = HeroItem()
item['hclass'] = response.request.url.split("/")[8].split('-')[-1]
item['server'] = response.request.url.split('/')[2].split('.')[0]
item['hardcore'] = len(response.request.url.split("/")[8].split('-')) == 3
item['seasonal'] = response.request.url.split("/")[6] == 'season'
item['rank'] = sel.xpath('td[@class="cell-Rank"]/text()').extract()[0].strip()
item['battle_tag'] = sel.xpath('td[@class="cell-BattleTag"]//a/text()').extract()[1].strip()
item['grift'] = sel.xpath('td[@class="cell-RiftLevel"]/text()').extract()[0].strip()
item['time'] = sel.xpath('td[@class="cell-RiftTime"]/text()').extract()[0].strip()
item['date'] = sel.xpath('td[@class="cell-RiftTime"]/text()').extract()[0].strip()
url = 'https://' + item['server'] + '.battle.net/' + sel.xpath('td[@class="cell-BattleTag"]//a/@href').extract()[0].strip()
yield Request(url, callback=self.parse_profile)
def parse_profile(self, response):
sel = Selector(response)
item = HeroItem()
item['weapon'] = sel.xpath('//li[@class="slot-mainHand"]/a[@class="slot-link"]/@href').extract()[0].split('/')[4]
return item
好吧,我在主解析方法中删除了一整张表,并从该表中提取了几个字段。其中一个字段是一个url,我想探索它以获得一个全新的字段群。如何将已创建的项对象传递给回调函数,以便最终项保留所有字段?
正如上面的代码所示,我能够保存url中的字段(此时的代码)或者只保存表中的字段(只需编写yield item
)
但我不能把一个物体和所有的田地放在一起。
我试过了,但显然不行。
yield Request(url, callback=self.parse_profile(item))
def parse_profile(self, response, item):
sel = Selector(response)
item['weapon'] = sel.xpath('//li[@class="slot-mainHand"]/a[@class="slot-link"]/@href').extract()[0].split('/')[4]
return item
我对Tkinter的额外参数传递也有类似的问题,并且找到了这个解决方案(这里是http://infohost.nmt.edu/tcc/help/pubs/tkinter/web/extra-args.html),并将其转换为您的问题:
这就是您使用
meta
关键字的目的。还要注意的是,做
sel = Selector(response)
是一种资源浪费,与您之前做的不同,所以我改变了它。它在response
中自动映射为response.selector
,这也有一个方便的快捷方式response.xpath
。相关问题 更多 >
编程相关推荐