发布第页ul部分

Question

设置

我在用scrapy刮房屋广告。你知道吗

我成功地收集了每个广告的大部分房屋特征，随后用熊猫进行分析。你知道吗

---

问题

我似乎无法在广告页上找到某个ul。这个问题涉及到任何房屋广告页面上的“主要特征”和“附加内容”部分：例如this one。你知道吗

当我尝试刮除元素时，我收到一个空白返回。

---

尝试

我试过以下方法来获得“额外的”

response.css("section.divFeatures") # empty 

response.css("div.detail-section-content::text", # gives me the property location (strange)
          ).extract() 

response.css("#divFeatures").extract() # empty

名单还在继续。你知道吗

我做错了什么，如何成功获得元素？你知道吗

Answer 1

你可以直接查询@Casper提到的页面…或者你可以使用一个引擎来运行javascript并编辑DOM，就像一个普通的webbrowser一样，并在编辑后得到html。你知道吗

Selenium+ChromeDriver（+XVFB，如果你想运行headless）或phantomjs等等。它们将运行网页上的所有javascript，并且具有与你在chrome中打开inspect面板时看到的完全相同的结构。你知道吗