Python多处理：如何从子进程可靠地重定向stdout？

Question

注意。我见过Log output of multiprocessing.Process-不幸的是，它没有回答这个问题。

我正在通过多处理创建一个子进程（在windows上）。我希望将子进程的stdout和stderr输出的全部重定向到日志文件，而不是显示在控制台上。我看到的唯一建议是让子进程将sys.stdout设置为文件。但是，由于Windows上stdout重定向的行为，这并不能有效地重定向所有stdout输出。

为了说明这个问题，用以下代码构建一个Windows DLL

#include <iostream>

extern "C"
{
    __declspec(dllexport) void writeToStdOut()
    {
        std::cout << "Writing to STDOUT from test DLL" << std::endl;
    }
}

然后创建并运行如下python脚本，该脚本导入此DLL并调用函数：

from ctypes import *
import sys

print
print "Writing to STDOUT from python, before redirect"
print
sys.stdout = open("stdout_redirect_log.txt", "w")
print "Writing to STDOUT from python, after redirect"

testdll = CDLL("Release/stdout_test.dll")
testdll.writeToStdOut()

为了看到与我相同的行为，可能有必要针对不同于Python使用的C运行时构建DLL。在我的例子中，python是用Visual Studio 2010构建的，而我的DLL是用VS 2005构建的。

我看到的行为是控制台显示：

> stdout_test.py

Writing to STDOUT from python, before redirect

Writing to STDOUT from test DLL

而文件stdout_redirect_log.txt最终包含：

Writing to STDOUT from python, after redirect

换句话说，设置sys.stdout无法重定向由DLL生成的stdout输出。考虑到Windows中stdout重定向的底层api的性质，这并不奇怪。我以前在本机/C++级别遇到过这个问题，但从未找到一种方法来可靠地重定向STDUT。必须在外部完成。

这正是我启动子进程的原因——它使我可以从外部连接到它的管道，从而保证截取它的所有输出。我当然可以用pywin32手动启动进程，但我非常希望能够使用多处理的工具，特别是通过多处理管道对象与子进程通信的能力，以便获得进度更新。问题是，是否有任何方法可以同时对其IPC设施使用多处理和来可靠地将子级的所有stdout和stderr输出重定向到一个文件。

更新：查看多处理的源代码。进程，它有一个静态成员，即Popen，看起来它可以用来重写用于创建进程的类。如果设置为None（默认），则使用多处理.forking。Popen，但它看起来像是

multiprocessing.Process._Popen = MyPopenClass

我可以重写进程创建。然而，尽管我可以从多处理.分叉.Popen中得到这个结果，但看起来我必须将一堆内部的东西复制到我的实现中，这听起来很不稳定，而且不太适合将来使用。如果这是唯一的选择的话，我想我可能会喜欢用pywin32手动完成整个过程。

Answer 1

我认为没有比将子流程重定向到您在评论中提到的文件更好的选择了。

在windows中，控制台stdin/out/err的工作方式是在每个进程诞生时定义其std handles。你可以用SetStdHandle来改变它们。当修改python的sys.stdout时，只修改python打印内容的位置，而不是其他DLL打印内容的位置。DLL中的CRT的一部分是使用GetStdHandle来找出要打印到的位置。如果需要，可以在DLL中的windows API或pywin32中的python脚本中进行任何管道操作。尽管我认为用subprocess会更简单。