如何在网页上搜索推荐

Question

请考虑以下链接： https://www.michaelkors.com/logo-tape-ribbed-stretch-viscose-sweater/_/R-US_MH86NXK5ZW

一旦你向下滚动，你就会看到这页上的建议。我想知道这些产品的名称。我试过用这个：

response.xpath('//div[@class="product-tile-container"]/a/@src').getall()

但是，它什么也不返回。原因可能是产品是延迟加载的。我应该如何提取他们的标题。你知道吗

Answer 1

您不能使用简单的scrapy spider访问这些数据，因为页面是通过JS呈现的。您可以尝试禁用浏览器的JS并刷新页面。你会看到一个空白页。如果你检查它，你会发现没有与产品相关的数据。你知道吗

如果您想刮取这种类型的JS呈现页面，我建议您使用splash和scrapy-splash。它有很好的文档记录并且易于使用。它是一个渲染服务，允许您刮取所需的数据。（它得到了scrapinghub的支持，scrapy背后的聪明头脑）。你知道吗