在shell和spid中处理ajax连续响应数据

Question

我试图获取ajax请求后加载的数据。在

例如，youtube页面的前30个视频是用html显示的，然后用户必须单击一个“loadmore”按钮来触发ajax并获得更多结果。 https://www.youtube.com/user/testedcom/videos

我可以得到ajax链接，但是用蹩脚的特性提取剩余数据/“分页”的最佳方法是什么？

启动外壳：

scrapy shell https://www.youtube.com/user/testedcom/videos

获取ajax继续的url:

^{pr2}$

从ajax调用获取新数据：

fetch(url)

…但从这里我不知道该如何处理这些数据。它的格式与运行scrapy shell的原始响应的格式不同。它似乎没有完全加载为JSON。我想斯帕蒂有专门针对这方面的东西，但在文档中找不到。在

编辑 我可以通过以下操作获取html内容：

import json
response_json = json.loads(response.body_as_unicode())
html = response_json['content_html']

但是，我必须使用正则表达式从unicode中提取所需的数据，而不是使用更方便的内置xpath选择器。在

Would prefer to not use Selenium or another add-on like in this solution. Speed and simplicity is a priority.

Answer 1

获取html内容后，可以初始化选择器对象以使用xpath选择器：

from scrapy.selector import Selector
import json

response_json = json.loads(response.body_as_unicode())
html = response_json['content_html']
sel = Selector(text=html)
for url in sel.xpath('//@href').extract():
    yield Request(url, callback=self.somecallbackfunction)