Python中的multiprocessing.dummy没有使用100%的cpu

Question

我在Python中做一个机器学习项目，所以我必须做并行预测函数，我在程序中使用这个函数。

from multiprocessing.dummy import Pool
from multiprocessing import cpu_count


def multi_predict(X, predict, *args, **kwargs):
    pool = Pool(cpu_count())
    results = pool.map(predict, X)
    pool.close()
    pool.join()
    return results

问题是我所有的CPU只加载了20-40%（总共是100%）。我使用multiprocessing.dummy是因为我在pickling函数中的多处理模块有一些问题。

Answer 1

使用^{}时，使用的是线程，而不是进程：

multiprocessing.dummy replicates the API of multiprocessing but is no more than a wrapper around the threading module.

这意味着您受到Global Interpreter Lock (GIL)的限制，并且一次只能有一个线程执行CPU绑定的操作。这将阻止你充分利用你的CPU。如果您想要在所有可用的核心上获得完全并行，那么您需要解决您使用multiprocessing.Pool遇到的pickling问题。

注意，如果需要并行化的工作是IO绑定的，或者使用释放GIL的C扩展，那么multiprocessing.dummy可能仍然有用。但是，对于纯Python代码，您需要multiprocessing。