多处理管道（）不工作

Question

我试图熟悉multiprocessing模块。我当前对Pipe()有一些问题。我设计了一个小例子来说明我的问题。在

我写了两个函数：

• 在特定文件夹中创建文件的人（spawner）
• 另一个检测这些文件并将其复制到另一个文件夹（cleaner）

它们都很好用。我还设法为两者创建了一个Process，这样文件的创建和复制同时进行。在

对于下一步，我希望spawner与它已经完成创建文件的cleaner通信，以便后者可以终止。在

代码如下：

import os
from time import sleep
import multiprocessing as mp
from shutil import copy2


def spawner(f_folder, pipeEnd):
    template = 'my_file{}.txt'
    for i in range(10):
        new_file = os.path.join(f_folder, template.format(str(i)))
        with open(new_file, 'w'):
            pass
        sleep(1)
    pipeEnd.send(True)
    return


def cleaner(f_folder, t_folder, pipeEnd):
    state = set()
    while not pipeEnd.recv():
        new_files = set(os.listdir(f_folder)).difference(state)
        state = set(os.listdir(f_folder))
        for file in new_files:
            copy2(os.path.join(f_folder, file), t_folder)
        sleep(3)
    return

if __name__ == '__main__':
    receiver, sender = mp.Pipe()
    from_folder = r'C:\Users\evkouni\Desktop\TEMP\PythonTests\subProcess\from'
    to_folder = r'C:\Users\evkouni\Desktop\TEMP\PythonTests\subProcess\to'
    p = mp.Process(target=spawner, args=(from_folder, sender))
    q = mp.Process(target=cleaner, args=(from_folder, to_folder, receiver))
    p.start()
    q.start()

我只是似乎无法让它发挥作用。。任何帮助都将不胜感激。在

Answer 1

Pipe是解决问题的错误方法。如果你想把文件名从产卵器传递到清理器，你可以使用管道，但是你要做的是升起一个标志。为此，我建议使用Event:https://docs.python.org/2/library/multiprocessing.html#multiprocessing.Event

这可以被认为是线程安全（和多进程安全）的布尔值。你会用得像

finished = mp.Event()
...
finished.set()  # pipeEnd.send(True)
...
while not finished.is_set():  # while not receiver.recv():