擅长:python、mysql、java
<p>从第一个spider可以将url保存在某个数据库中,或者通过管道发送到某个队列(Zerro、Rabbit MQ、Redis)。在</p>
<p>第二个spider可以使用方法-<a href="https://doc.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests" rel="nofollow noreferrer">start_requests</a>获取url</p>
<pre><code>class MySpider(scrapy.Spider):
name = 'myspider'
def start_requests(self):
urls = my_db.orm.get('urls');
for url in urls:
yield scrapy.Request(url)
</code></pre>
<p>或者url可以通过<a href="https://doc.scrapy.org/en/latest/topics/commands.html#crawl" rel="nofollow noreferrer">cli</a>或{a3}从队列代理传递给spider。或者spider可以从broker启动,然后启动spider通过start_请求获取他的url。在</p>
<p>真的有很多方法可以做到。这种方式取决于为什么需要将url从一个spider传递到另一个spider。在</p>
<p>您可以查看以下项目:Scrapy Cluster,Scrapy Redis。也许这就是你要找的。在</p>