利用crapy和C语言从多个网站中提取信息

Question

我从多个网站获取信息，为同一个我需要选择一个正则表达式的div类。我正在使用scrapy和css选择器。
我可以这样做为一个单一的网站 <我>响应.css（“div[class='用户评论内容']”）。首先提取\u（）

我尝试使用的正则表达式是“.review。评论。'

如何将CSS集成到其中？你知道吗

Answer 1

不要这样做，相反，在回调函数中检查域的URL，然后为它编写代码

if "website1.com" in response.url:
    name_selector = "div.name"
elif "website2.com" in response.url:
    name_selector = "span.name"

item = {}

item = response.css(name_selector).extract_first()

我已经在我的大型项目中做了很长时间了。你知道吗