Python中的有依赖关系的批处理

Question

我想找一个最好的方法来创建一个工作调度器，用于处理不同类型的工作。CJobs是多线程的，有些工作需要在下一个步骤开始之前完成。目前这一切都是通过一个数据库表来管理……我觉得这样也不错。不过，如果有更好的方法来管理这些依赖关系，我非常乐意听听。

我希望能用Python来实现这个功能。我看到有一个叫做parallel python的模块，看起来很不错，但我对工作之间的依赖问题有点担心。

有没有人能推荐一些可以满足我需求的工具，或者告诉我该怎么做？

非常感谢！

D

更新：这个工作调度是在一组服务器上进行的，每台服务器上可用的工作者数量有限……每个端口一个。Celery或SCon支持这个吗？

Answer 1

SCons 对这个问题可能会很有帮助。

它主要是为了软件构建（比如编译、链接等）而设计的，但你可以很简单地定义新的结果类型、新的命令和新的源类型，这样它就能正确处理你的数据和依赖关系。

根据更新的信息，你可能还需要类似于 BuiltBot 的工具。

Answer 2

Luigi 看起来非常有意思。它可以帮助你创建工作流程，也就是一系列相关的任务，这些任务之间的依赖关系由 Luigi 来管理。此外，它还有一个简单的网页界面，可以展示任务之间的依赖关系图。

Answer 3

我在使用Celery方面取得了很多成功。