使用Python多进程时的KeyError: 0

Question

我有一段代码，里面我试图调用一个叫做compute_cluster的函数，这个函数会进行一些计算，并把结果写入一个文本文件（每个进程会独立地把结果写到不同的文本文件里）。但是，当我运行以下代码时：

def main():
  p = Pool(19)
  p.map(compute_cluster, [(l, r) for l in range(6, 25) for r in range(1, 4)]) 
  p.close()
if __name__ == "__main__":
   main()                

程序崩溃了，并出现了以下错误：

File "RMSD_calc.py", line 124, in <module>
  main()                
File "RMSD_calc.py", line 120, in main
  p.map(compute_cluster, [(l, r) for l in range(6, 25) for r in range(1, 4)]) 
File "/usr/local/lib/python2.7/multiprocessing/pool.py", line 225, in map
  return self.map_async(func, iterable, chunksize).get()
File "/usr/local/lib/python2.7/multiprocessing/pool.py", line 522, in get
  raise self._value
  KeyError: 0

我在网上搜索“KeyError: 0”的意思时，没有找到什么有用的信息，所以如果有人能给点建议，告诉我为什么会出现这个错误，我会非常感激。

Answer 1

KeyError 错误发生在子进程中的 compute_cluster() 函数里，而 p.map() 会把这个错误重新抛出到父进程中：

from multiprocessing import Pool

def f(args):
    d = {}
    d[0] # <-- raises KeyError

if __name__=="__main__":
    p = Pool()
    p.map(f, [None])

输出

Traceback (most recent call last):
  File "raise-exception-in-child.py", line 9, in <module>
    p.map(f, [None])
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 227, in map
    return self.map_async(func, iterable, chunksize).get()
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 528, in get
    raise self._value
KeyError: 0

要查看完整的错误追踪信息，可以在子进程中捕获这个异常：

import logging
from multiprocessing import Pool

def f(args):
    d = {}
    d[0] # <-- raises KeyError

def f_mp(args):
    try:
        return f(args)
    except Exception:
        logging.exception("f(%r) failed" % (args,))

if __name__=="__main__":
    p = Pool()
    p.map(f_mp, [None])

输出

ERROR:root:f(None) failed
Traceback (most recent call last):
  File "raise-exception-in-child.py", line 10, in f_mp
    return f(args)
  File "raise-exception-in-child.py", line 6, in f
    d[0] # <-- raises KeyError
KeyError: 0

这表明 d[0] 引发了这个异常。