擅长:python、mysql、java
<p>使用ScrapyJS-Scrapy+JavaScript集成</p>
<p>要在项目中使用ScrapyJS,首先需要启用中间件:</p>
<pre><code>DOWNLOADER_MIDDLEWARES = {
'scrapyjs.SplashMiddleware': 725,
}
</code></pre>
<p>例如,如果要检索页面的呈现HTML,可以执行以下操作:</p>
^{pr2}$
<p>一种常见的情况是,用户需要在页面显示之前单击一个按钮。我们可以使用带有Splash的jQuery来处理这个问题:</p>
<pre><code>function main(splash)
splash:autoload("https://ajax.googleapis.com/ajax/libs/jquery/2.1.3/jquery.min.js")
splash:go("http://example.com")
splash:runjs("$('#some-button').click()")
return splash:html()
end
</code></pre>
<p>有关详细信息<a href="http://blog.scrapinghub.com/2015/03/02/handling-javascript-in-scrapy-with-splash/" rel="nofollow noreferrer">check here</a></p>