scrapy shell 'https://itunes.apple.com/us/album/no-tears-left-to-cry/1374085537?i=1374087460&v0=WWW-NAUS-ITSTOP100-SONGS&l=en&ign-mpt=uo%3D4'
我想从这里得到专辑“没有眼泪可以哭-单身”
Itunes chart _ music preview page "no tears left to cry - Single / Ariana Grande"
相册名称的xpath如下:
//*[@id="ember653"]/section[1]/div/div[2]/div[1]/div[2]/header/h1
我试着
response.xpath('//*[@id="ember653"]/section[1]/div/div[2]/div[1]/div[2]/header/h1')
但结果是[]
我怎样才能从这个网站上得到唱片信息?你知道吗
你最好不要使用JS渲染,它非常慢,很重,而且很麻烦。 花5分钟在Chrome的“网络”选项卡上查找数据源。它通常内置在页面源中,或者通过XHR请求传递。你知道吗
在这种情况下,您需要的所有数据都可以在页面本身上找到,但是您应该检查其源代码,而不是呈现的版本。在chrome中使用
ctrl+u
,然后ctrl+f
找到所有需要的部件。你知道吗在这种情况下,它的工作速度是
splash
的5-7倍这是因为scrapy不等待javascript加载,您需要使用scrapy-splash,here is my answer how you need to setup您的scrapy项目与
scrapy-splash
如果我使用
scrapy-splash
,我会得到结果这是我的简单蜘蛛
你也可以用
scrapy shell
来做这件事相关问题 更多 >
编程相关推荐