Python中是否有分布式任务队列使我能够终止不愿意合作的挂起任务

Question

基本上我有很多任务（成批处理大约1000个），这些任务的执行时间可能相差很大（从不到秒到10分钟）。我知道，如果一个任务执行超过一分钟，我可以终止它。这些任务是优化某些数据挖掘模型的步骤（但彼此独立），并且大部分时间都在一些C扩展函数中，因此如果我试图优雅地终止它们，它们就不会合作。在

是否有一个符合这种模式的分布式任务队列——AFAIK:celery允许中止愿意合作的任务。但我可能错了。在

我最近问了一个类似的问题，关于在纯pythonKill hanging function in Python in multithreaded enviorment中杀死挂起函数。在

我想我可以将celery任务子类化，这样它会产生一个新的进程，然后执行它的有效负载，如果需要很长的时间，它就会中止它的执行，但这样一来，新解释器的初始化开销会让我丧命。在

Answer 1

Pistil允许多个进程管理，包括终止不合作的任务。在

但是：

• 这是测试版软件，即使它能为gunicorn提供可靠的动力
• 我不知道它是如何处理1000个进程的
• 进程之间的通信还没有包括在内，所以您必须使用例如zeromq来设置自己的进程

另一种可能是使用timer signal，因此它在36000秒内引发异常。但是如果有人获得了GIL，信号就不会被触发，你的C程序可能会这样做。在