擅长:python、mysql、java
<p>更优雅的解决方案是完全禁用复制筛选器:</p>
<pre><code># settings.py
DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'
</code></pre>
<p>这样您就不必用<code>dont_filter=True</code>把所有的请求创建代码都弄乱。另一个副作用:这只会禁用重复筛选,而不会禁用任何其他筛选,如场外筛选。</p>
<p>如果希望仅对项目中的一个或多个蜘蛛中的某些蜘蛛有选择地使用此设置,可以通过蜘蛛实现中的<a href="https://doc.scrapy.org/en/latest/topics/settings.html#settings-per-spider" rel="noreferrer">^{<cd2>}</a>进行设置:</p>
<pre><code>class MySpider(scrapy.Spider):
name = 'myspider'
custom_settings = {
'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter',
}
</code></pre>