在Scrapy中为同一ArticleItem使用多个CSS选择器
我正在抓取一个网站,但这个网站的布局不太一致。现在我用的这个方法没有返回所有的标题 -
article['title'] = sel.css('p[class=title] ::text').extract()
我还需要用这个方法来抓取一些标签的类 -
article['title'] = sel.css('span[class=newstitle] ::text').extract()
有没有办法把两个CSS选择器合并在一个ArticleItem里?
1 个回答
4
就像把列表拼接在一起一样简单:
article['title'] = response.css("p.title ::text").extract() + \
response.css("span.newstitle ::text").extract()