在Scrapy中为同一ArticleItem使用多个CSS选择器

4 投票
1 回答
4248 浏览
提问于 2025-04-18 15:12

我正在抓取一个网站,但这个网站的布局不太一致。现在我用的这个方法没有返回所有的标题 -

article['title'] = sel.css('p[class=title] ::text').extract()

我还需要用这个方法来抓取一些标签的类 -

article['title'] = sel.css('span[class=newstitle] ::text').extract()

有没有办法把两个CSS选择器合并在一个ArticleItem里?

1 个回答

4

就像把列表拼接在一起一样简单:

article['title'] = response.css("p.title ::text").extract() + \
                   response.css("span.newstitle ::text").extract()

撰写回答