如何在网络中分配Python任务

Question

我有一个Python程序，它会执行几个独立且耗时的任务。这个程序主要是用来自动化的，它通过popen来调用几个批处理文件。

现在这个程序运行起来需要好几个小时，所以我想把它分开，让多个机器一起处理。请问我该如何在局域网中，用Python把任务分开并同时处理呢？

Answer 1

我想推荐一个叫做 STAF 的工具。它被宣传为一个软件测试框架，但其实它还可以让你在多台电脑（和不同的平台）上分配任务。你可以运行脚本、复制数据，还能轻松地在多个会话之间进行沟通。最棒的是，它和你已经有的脚本结合起来也很简单。

Answer 2

如果你想进行远程执行，可以使用execnet这个工具。你还需要分发数据吗？

Answer 3

现在有很多可以让Python同时处理多个任务的框架。这里介绍两个选择：

• IPython的并行计算功能

• 并行处理框架 jug