我正在使用scrapy下载此页面的内容:
但当我往里看的时候
response.body
评论的内容不在那里,我指的是‘负面体验(1评论)’的内容,上面说:“祝你使用这家公司好运。布赖恩对我和我丈夫粗暴无礼。在讨论了我们想要什么之后……”
scrapy shell 'http://www.bbb.org/central-texas/business-reviews/concrete-stamped-and-decorative/artistic-impressions-concrete-staining-in-new-braunfels-tx-90080290/Customer-Reviews' -s USER_AGENT='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36'
content = response.body
content.find('Good luck using this company')
它返回:-1
我怎么能得到这些数据?你知道吗
通过请求
/ReadReviews
端点并提供页面和体验类型,可以分别加载评论。例如,在提供的示例中,它将是:在spider中需要做的是向该端点生成/返回一个^{} ,并解析回调中的评论。你知道吗
例如,如何获取审阅详细信息:
相关问题 更多 >
编程相关推荐