如何限制异步Celery任务的并发Http请求数

Question

我正在用芹菜任务（python请求和PhantomJs）异步爬行许多网站。我使用crawlera作为代理，但我的帐户有100个并发请求的限制。在

我想知道最好的办法是什么。我知道我可以使用Redis（或其他东西）作为信号量，并在acquire（）在随机数秒后失败时重新触发任务，但我认为这种方法不太好。在

Answer 1

是什么让你觉得这种方法不好？ 它可能对您的情况有利也可能不好—这完全取决于您的实现和环境的细节。在

另一种方法是限制任何一个worker可以同时建立的连接的数量，并限制worker/task的数量，这样连接的总数永远不会超过100。在