排队clus上Python并行计算

Question

有lots的不同模块用于线程化/并行化python。Dispy和{a3}似乎特别受欢迎。看起来这些都是为一个有很多核心/处理器的单一接口（例如桌面）而设计的。是否有一个模块可以在队列系统运行的大规模并行架构上工作（特别是：SLURM）？在

Answer 1

通过ParallelPython主页：

“PP是一个python模块，它提供了在SMP（具有多个处理器或内核的系统）和集群（通过网络连接的计算机）上并行执行python代码的机制。”

Answer 2

在科学/技术应用的大型计算集群上，最常用的并行框架是MPI。Python包的名称是MPI4py，它是SciPy的一部分。在

MPI提供了一个高级API，用于创建并行软件，使用消息在网络上进行通信；远程进程创建、数据分散/收集、缩减等。所有实现都能够利用快速和低延迟的网络（如果存在）。它与所有集群管理器完全集成，包括Slurm。在