如何使用python调度程序库运行并行任务？

Question

使用python调度程序库运行多核cpu并行任务的方法是什么？在

在这个并行任务示例中，有没有添加超时和一些顺序相关元素以及异常处理的示例？在

Answer 1

由于您根本没有发布任何代码，因此很难确定您要问什么以及您到底想要实现什么。在

也就是说，我想如果您想在python中实现True并行性，那么您想要使用的库应该是multiprocessing。使用multiprocessing可以从主进程启动独立的python进程，并让它们同时在不同的物理核心上运行。在

如果任务相互依赖，则需要使用进程间通信技术，如Queues，Pipes或{}库本身提供的共享IPC对象，如multiprocessing，array，value，multiprocessingManager。在

对于独立任务，您不必太担心同步进程状态，但是如果您需要组合独立任务的结果，可以使用multiprocessingpool和{}。在

但是，如果您只想并发执行任务，因此不想浪费任何CPU时间，那么可以查看threading库，尽管threading有其自身的复杂性，GIL是最大的一个。在

async是另一个范例，它对并发的处理方式完全不同，但是async有自己的生态系统，所有的东西都需要成为这个生态系统的一部分，才能真正达到预期的最终结果，否则整个事情就完蛋了。在