用mpi4py实现并行函数映射
mpimap的Python项目详细描述
MPIMAP
这个包是mpi4py的包装器，允许在一台计算机或hpc集群的多个节点上并行运行函数。
当不使用mpi环境或只指定一个处理器时，用于实现mpimap方法的代码也将起作用。
设置
导入后，创建Mpimap类的实例：
mpi = mpimap.Mpimap()
要让每个进程打印其信息，请使用：
mpi.info()
此时，所有mpi实例仍继续处理正在运行的script.py中的所有行或发送给解释器的命令。若要将所有工作节点置于“侦听”状态，其中它们只接受从头进程发送的命令，请使用：
mpi.start()
从这里开始，运行的script.py中的命令或发送到解释器的命令将只由head进程处理。要确定每个工作进程启动后的状态，请使用：
mpi.status()
若要在完成后终止所有工作节点，请使用：
mpi.stop()
功能
要在每个工作节点“监听”作业后在其上运行代码，请将代码包含在不带参数的函数中，并使用：
mpi.run(func)
Mpimap包含一个map()函数，该函数的行为类似于python中包含的builtin版本：
output = mpi.map(func, args)
这将向所有工作节点发送函数的副本，然后将args列表排队，向当前未运行作业的每个节点发送值。输入顺序由输出保持。
Mpimap还包括功能gmap()。这是map()的一个特殊实例，用于运行一组作业，其中返回“failed”状态的参数将导致该组中的所有作业被取消：
output = mpi.gmap(func, args, groupind=0, failstate=None)
对于这个函数，args是一个列表列表。参数groupind确定函数运行的每个列表中的哪个条目用于确定该作业组。参数failstate是检查以确定作业是成功还是失败的值。
包含一个名为gmatrix的加法静态函数。这可用于生成两个列表的所有可能组合的列表，包括输入ID号，并将常量附加到所有组合：
x = [1, 2, 3]
y = [10, 20]
constants = ('a', 'b')
out = mpi.gmatrix(x, y, *constants)
此示例将返回：
>>> out
[('0', 1, 10, 'a', 'b'),
('1', 1, 20, 'a', 'b'),
('2', 2, 10, 'a', 'b'),
('3', 2, 20, 'a', 'b'),
('4', 3, 10, 'a', 'b'),
('5', 3, 20, 'a', 'b')]
示例
要测试提供的函数并检查builtin.map()和mpimap.map()之间的处理时间差异，请运行示例python脚本：
mpirun -n <Number of processors you want to use> python example.py
完整的工作示例如下：
import mpimap
import time
def func_cheap(*args):
"""Do nothing"""
return
def func_expensive(n):
"""Basic factorising problem"""
factors = set([])
for i in xrange(n - 1):
i = i + 1
# Skip factors
if i in factors:
continue
# Find factors
if n % i == 0:
factors.add(i)
factors.add(n / i)
return sorted(factors)
# Build mpi
mpi = mpimap.Mpimap(sleep=0, debug=False)
mpi.info()
mpi.start()
# Run function on all nodes
mpi.run(func_cheap)
# Set up function and arguments
args = range(5000, 10000)
# Not in parallel
t0 = time.time()
res = map(func_expensive, args)
dt = time.time() - t0
print '\nNon Parallel: {}'.format(dt)
# Parallel
t0 = time.time()
res = mpi.map(func_expensive, args)
dt = time.time() - t0
print '\nParallel: {}\n'.format(dt)
mpi.stop()
mpi.exit()
欢迎加入QQ群-->： 979659372
