了解芹菜任务负载平衡

Question

我目前正在使用芹菜运行我的后台任务。在

假设我想每周运行这些后台任务。在

把20个任务交给一个工人做是个好主意吗？在

每个任务至少会发出800个web请求。在

在芹菜文献里说：

A single Celery process can process millions of tasks a minute, with sub-millisecond round-trip latency (using RabbitMQ, librabbitmq, and optimized settings).

所以基本上，一个任务可以针对一个用户；我需要运行至少50个不同的任务；每个任务都发出大约800个web请求。我想，也许我每项任务都需要新的工人；但是回顾一下文档，我似乎并不需要为每项任务多个工人；相反，我可以一次抛出所有的工人；这样就可以了。但我对此不太自信；在我的情况下，我应该怎么做；如果我每个任务发出800个web请求；我是否需要多个工人？或者我应该在一个工人手下做任何事情。在