paraproc 0.1.3

概述

paraproc是一个简单的库，可以帮助您轻松地并行计算 （独立的数据块）在python中跨越多个进程，特别是 当您想混合调用外部命令行程序和手工酿造时 python在数据处理管道中一起工作。

在幕后，它将子流程和多处理结合起来，并使用一个流程池 安排工作。它还提供了一个numpy.ndarray接口来访问 跨多个进程共享内存。

paraproc同时支持python 2和3，而numpy是唯一的外部依赖项。 它只包含在一个python文件中，因此可以很容易地将其复制到项目中。 （必须保留版权和许可通知。）

稍后可以找到演示库的基本用法的代码片段 在本文档和演示文件中。

错误可以报告给https://github.com/herrlich10/paraproc。 代码也可以在那里找到。

快速启动

importosimportparaprocdefmy_job():print(os.getpid())pc=paraproc.PooledCaller()forkinrange(5):pc.check_call(my_job)forkinrange(5):pc.check_call('echo $$',shell=True)# For linux/macpc.wait()

importnumpyasnpimportparaprocdefslow_operation(k,x):x.acquire()x[:100000,:]+=1# Write accessres=np.mean(x)# Read accessx.release()print('#{0}: mean = {1}'.format(k,res))a=paraproc.SharedMemoryArray.from_array(np.random.rand(1000000,500))# About 4 GBpc=paraproc.PooledCaller()forkinrange(pc.pool_size):pc.check_call(slow_operation,k,a)pc.wait()