如何在几次写CSV文件

Question

我正在使用python2.7.9的scrapy，我的spider可以正常地抓取数据。你知道吗

但是我发现数据太大了，所以我想在一个爬行器中多次爬行数据并写入不同的CSV文件。你知道吗

例如：我一共有“十几万”个网页，我希望蜘蛛分别爬“三万”、“三万”、“三万”、“两万”。你知道吗

我该怎么办？我只能在“蜘蛛”里做吗？或者在“管道”里？你知道吗

请谁来帮帮我。你知道吗

我的代码链接：https://drive.google.com/open?id=0B6SUWnrBmDwSWmY1em1vbktyOWc&authuser=0

Answer 1

一种简单的方法是将from和to作为spider arguments发送

scrapy crawl myspider -a from=30001 -a to=60000