Luigi Central Scheduler比localschedu慢得多

Question

我有一个非常简单的路易吉luigi.contrib.external_程序.ExternalProgramTask。与此任务没有依赖关系。任务只需获取一个输入文件，将其传递给exe，然后写出一个完成任务的文件。每个任务运行约1-4秒。

--workers 8-100个任务大约需要3毫秒20秒

--workers 1 --local-scheduler-100个任务大约需要1:40秒`

这是在我的笔记本电脑上，不是“分布式”的，但是我不明白当Luigi调度多个任务并行运行时--local调度器是如何更快的。

当使用集中式调度程序运行时，我看到8个以上的python进程会弹出并运行，但是整个进程比较慢。