如何在Python中并行运行os.walk？

Question

我用Java编写了一个简单的应用程序，它获取一个路径列表，并生成一个包含原始列表下所有文件路径的文件。

如果paths.txt有：

c:\folder1\
c:\folder2\
...
...
c:\folder1000\

我的应用程序在每个多线程路径上运行递归函数，并返回一个包含这些文件夹下所有文件路径的文件。

现在我想用Python编写这个应用程序。

我编写了一个简单的应用程序，它使用os.walk()来运行给定的文件夹并打印要输出的文件路径。

现在我想并行运行它，我已经看到Python有一些模块用于此： 多线程和多处理。

最好的办法是什么？在这种方式下，它是如何执行的？

Answer 1

这是python中线程的模式，对我很有用。不过，我不确定线程是否会因为线程在CPython中的工作方式而提高性能。

import threading
import Queue
import os

class PathThread (threading.Thread):
    def __init__(self, queue):
        threading.Thread.__init__(self)
        self.queue = queue

    def printfiles(self, p):
        for path, dirs, files in os.walk(p):
            for f in files:
                print path + "/" + f

    def run(self):
        while True:
            path = self.queue.get()
            self.printfiles(path)
            self.queue.task_done()

# threadsafe queue
pathqueue = Queue.Queue()
paths = ["foo", "bar", "baz"]

# spawn threads
for i in range(0, 5):
    t = PathThread(pathqueue)
    t.setDaemon(True)
    t.start()

# add paths to queue
for path in paths:
    pathqueue.put(path)

# wait for queue to get empty
pathqueue.join()