考虑到广泛的搜索,我仍然很难使用多个进程运行特定的函数。要求如下:
然而,最新的尝试正在进行时间。睡眠似乎影响了所有进程-执行时间相同-20秒,不管池是用于直接调用多进程foo
还是foo
(应该分别为4/20秒)。我错过了什么?你知道吗
from multiprocessing import Pool, Process, Lock
import os
import time
def foo(arg):
print '{} - {}'.format(arg[0], os.getpid())
time.sleep(1)
if __name__ == '__main__':
script_start_time = time.time()
pool = Pool(processes=5)
for i in range(20):
arg = [i, i]
pool.map(foo, [arg])
pool.close() #necessary to prevent zombies
pool.join() #wait for all processes to finish
print 'Execution time {}s '.format(time.time() - script_start_time)
结果:
0 - 5660
1 - 5672
2 - 5684
3 - 5704
4 - 5716
5 - 5660
6 - 5672
7 - 5684
8 - 5704
9 - 5716
10 - 5660
11 - 5672
12 - 5684
13 - 5704
14 - 5716
15 - 5660
16 - 5672
17 - 5684
18 - 5704
19 - 5716
Execution time 20.4240000248s
正如在注释中提到的,
pool.map
将阻塞直到执行完成,因此您必须使用apply_async
或map_async
提交作业,并使用回调来处理返回数据的函数。或者,您可以提前构建所有输入,并一次对所有输入调用map
。你知道吗在本例中,apply\u async和map\u async非常相似,区别在于apply\u async一次只能提交一个作业,并且支持传递多个arg和kwarg。示例:
注意调用
apply_async
时参数是如何传递的。你知道吗或者,可以使用普通映射一次传递所有参数,但是这要求函数只接受一个参数。这就是
starmap
方法有用的地方。它接受一个元组的iterable,并将元组解压到函数参数中,因此pool.starmap(foo, [(a,b),(c,d),(e,f)]
的输入将把每对元组解压到foo中,foo包含两个参数:相关问题 更多 >
编程相关推荐