为进程python多处理指定特定的CPU

Question

我使用Redis作为多处理设置中生产者/消费者关系的队列。在

我的问题是我的生产商让我的消费者超载，然后偷走了它的CPU。在

我的问题是，在这个设置中，我是否可以将整个处理器分配给特定的函数/进程（即：消费者）。在

Answer 1

我刚刚在这个项目中遇到了类似的问题，3个服务器/调度器在各自的CPU核心上运行，产生了CPU密集型的工作人员——同时，这些工作人员被设计成使用他们正在运行的特定核心，以充分发挥其潜力。在

我需要确保这样的工作进程永远不会在运行服务器/调度器的CPU核心上产生（或使用——因为一些工作线程也使用多处理），因为这会导致后面的操作出现问题。在

我使用了Ioannis Filippidis'sanswer中的以下代码，它非常适合将任何进程限制为任何核心。我在这个例子中使用了多处理池，但是来自child的代码可以在任何multiprocessing.Process中工作。注意：它在macOS上不起作用。在

import multiprocessing as mp


def child(worker: int) -> None:
    import psutil
    import time

    p = psutil.Process()
    print(f"Child #{worker}: {p}, affinity {p.cpu_affinity()}", flush=True)
    time.sleep(1)
    p.cpu_affinity([worker])
    print(f"Child #{worker}: Set my affinity to {worker}, affinity now {p.cpu_affinity()}", flush=True)

    time.sleep(1 + 3 * worker)
    print(f"Child #{worker}: Starting CPU intensive task now for 4 seconds on {p.cpu_affinity()}...", flush=True)
    t_end = time.perf_counter() + 4
    while time.perf_counter() < t_end:
        pass
    print(f"Child #{worker}: Finished CPU intensive task on {p.cpu_affinity()}", flush=True)


def main() -> None:
    with mp.Pool() as pool:
        # noinspection PyProtectedMember
        workers: int = pool._processes
        print(f"Running pool with {workers} workers")

        for i in range(workers):
            pool.apply_async(child, (i,))

        # Wait for children to finnish
        pool.close()
        pool.join()

    pass


if __name__ == '__main__':
    main()

控制台输出：

^{pr2}$

在任务管理器中查看：

Answer 2

这不是Python开箱即用的方法。操作系统也有一定的特殊性。在Linux下执行操作时，请参阅以下答案：https://stackoverflow.com/a/9079117/4822566