擅长:python、mysql、java
<ol>
<li>是的,scrapy使用<a href="http://twistedmatrix.com/documents/12.3.0/core/howto/reactor-basics.html" rel="nofollow">a twisted reactor</a>来调用spider函数,因此使用带有单个线程的单个循环可以确保</li>
<li>spider函数调用方希望得到item/s或request/s作为回报,请求被放入队列中以供将来处理,项目被发送到配置的管道</li>
<li>在请求元中保存一个项(或任何其他数据)只有在获得响应后需要进一步处理时才有意义,否则,最好从<code>parse_page1</code>中简单地返回它,并避免额外的http请求调用</li>
</ol>