更改Scrapyd中运行爬虫的数量

Question

你好，我在我的项目里有大约50个爬虫，现在是通过scrapyd服务器来运行它们的。不过我遇到了一个问题，有些资源被锁住了，这导致我的爬虫要么失败，要么运行得非常慢。我希望能有办法让scrapyd一次只运行一个爬虫，把其他的放在等待队列里。我在文档里没找到相关的配置选项。任何帮助都会非常感谢！

Answer 1

这个可以通过 scrapyd 的设置 来控制。将 max_proc 设置为 1：

max_proc

同时启动的 Scrapy 进程的最大数量。