python多处理，大数据使进程进入休眠状态

Question

我使用的是python2.7.10。 我读了很多文件，将它们存储到一个大列表中，然后尝试调用多处理并将大列表传递给这些多进程，这样每个进程都可以访问这个大列表并进行一些计算。在

我用的是这样的泳池：

def read_match_wrapper(args):
    args2 = args[0] + (args[1],)
    read_match(*args2)

 pool = multiprocessing.Pool(processes=10)
 result=pool.map(read_match_wrapper,itertools.izip(itertools.repeat((ped_list,chr_map,combined_id_to_id,chr)),range(10)))
 pool.close()
 pool.join()

基本上，我将多个变量传递给“read_match”函数。为了使用池.map，我编写了“read_match_wrapper”函数。我不需要这些过程的任何结果。我只想让他们跑完全程。在

当我的数据列表“ped_list”很小时，我就可以完成整个过程的工作。当我加载所有数据时，比如10G，那么它生成的所有多进程都会显示“S”，而且似乎根本不起作用。。在

我不知道通过池访问的数据量是否有限制？ 我真的需要帮助！谢谢！在

Answer 1

我宁愿使用队列，而不是使用pool.map。您可以生成所需数量的进程并为输入分配队列：

n = 10 #number of processes
tasks = multiprocessing.Queue()

for i in range(n): #spawn processes
    multiprocessing.Process(target = read_match_wrapper, args = tasks)
for element in ped_list:
    tasks.put(element)

这样，您的队列将从一侧填充，同时从另一侧清空。在进程开始之前，可能有必要在队列中放入一些东西。当队列为空或引发一个队列.empty-例外情况。在