Python 多进程退出错误

Question

当我按下Ctrl-C退出我的应用程序时，我看到这个信息

Error in atexit._run_exitfuncs:
Traceback (most recent call last):
  File "/usr/lib/python2.6/atexit.py", line 24, in _run_exitfuncs
    func(*targs, **kargs)
  File "/usr/lib/python2.6/multiprocessing/util.py", line 269, in _exit_function
    p.join()
  File "/usr/lib/python2.6/multiprocessing/process.py", line 119, in join
    res = self._popen.wait(timeout)
  File "/usr/lib/python2.6/multiprocessing/forking.py", line 117, in wait
    return self.poll(0)
  File "/usr/lib/python2.6/multiprocessing/forking.py", line 106, in poll
    pid, sts = os.waitpid(self.pid, flag)
OSError: [Errno 4] Interrupted system call
Error in sys.exitfunc:
Traceback (most recent call last):
  File "/usr/lib/python2.6/atexit.py", line 24, in _run_exitfuncs
    func(*targs, **kargs)
  File "/usr/lib/python2.6/multiprocessing/util.py", line 269, in _exit_function
    p.join()
  File "/usr/lib/python2.6/multiprocessing/process.py", line 119, in join
    res = self._popen.wait(timeout)
  File "/usr/lib/python2.6/multiprocessing/forking.py", line 117, in wait
    return self.poll(0)
  File "/usr/lib/python2.6/multiprocessing/forking.py", line 106, in poll
    pid, sts = os.waitpid(self.pid, flag)
OSError: [Errno 4] Interrupted system call

我在自己的项目上使用了twisted这个库，

我用下面的代码注册了Ctrl-C这个信号

    def sigHandler(self, arg1, arg2):
        if not self.backuped:
            self.stopAll()
        else:
            out('central', 'backuped ALREADY, now FORCE exiting')
            exit()


    def stopAll(self):
        self.parserM.shutdown()
        for each in self.crawlM:
            each.shutdown()
        self.backup()
        reactor.stop()

当它们通知其他程序关闭时，它会试着通过

exit = multiprocessing.Event()
def shutdown(self):
    self.exit.set()

来优雅地告诉它们关闭，

def run(self):
    while not self.exit.is_set():
        do something
    out('crawler', 'crawler exited sucessfully')

这里面包含了我所有的进程，

你知道这个错误是什么吗？我只有在有多个相同线程的实例时才会遇到这个问题。

Answer 1

我之前遇到过这个问题，但当我用自己的函数覆盖了信号处理器后，这个问题就消失了。你可以使用 reactor.run(installSignalHandlers=False) 来关闭默认的信号处理，然后自己定义处理 SIGINT、SIGTERM 等信号的函数。

Answer 2

这段内容讲的是操作系统的系统调用、信号，以及它们在多进程模块中的处理方式。我不太确定这算不算一个bug，还是说这是一个特性，但这个问题有点复杂，因为它涉及到Python和操作系统的交互。

问题在于，当你在等待一个子进程结束时，程序会在waitpid这个地方被阻塞。但是，由于你为SIGINT信号安装了一个信号处理器，当你的程序收到这个信号时，它会打断正在进行的系统调用，去执行你的信号处理器，这样waitpid就会退出，并表示它是因为信号被中断的。Python处理这种情况的方式是通过异常。

作为一种解决方法，你可以把出问题的代码部分放在一个循环里，并使用try/catch块来处理，比如在你等待线程结束的地方，或者在子类化multiprocessing.Popen时：

import errno
from multiprocessing import Process

p = Process( target=func, args=stuff )
p.start()
notintr = False
while not notintr:
  try:
    p.join() # "Offending code"
    notintr = True
  except OSError, ose:
    if ose.errno != errno.EINTR:
      raise ose

如果你想对multiprocessing.forking.Popen进行一些修改，你需要这样做：

import errno
from multiprocessing import Process
from multiprocessing.forking import Popen
import os

# see /path/to/python/libs/multiprocessing/forking.py
class MyPopen(Popen):
  def poll(self, flag=os.WNOHANG): # from forking.py
    if self.returncode is None: # from forking.py
      notintr = False
      while not notintr:
        try:
          pid, sts = os.waitpid(self.pid, flag) # from forking.py
          notintr = True
        except OSError, ose:
          if ose.errno != errno.EINTR:
            raise ose
      # Rest of Popen.poll from forking.py goes here

p = Process( target=func args=stuff )
p._Popen = p
p.start()
p.join()