如何让自适应dask工作人员在启动时运行一些代码？

Question

我正在使用dask kubernetes创建一个dask调度器，并将其置于自适应模式。在

from dask-kubernetes import KubeCluster
cluster = KubeCluster()
cluster.adapt(minimum=0, maximum=40)

我需要每个worker在创建时运行一些设置代码（用os.environ设置一些环境变量），以便任务正确执行。在

我在文档中看到有一个--preload标志，用于从命令行启动的worker。我想我需要直接将其设置到自适应调度器的某个地方。在

我如何将代码传递给我的工人在他们开始工作时执行？在

Answer 1

如果您只需要设置环境变量，那么您可以使用dask kuberenetes配置文件来处理这个问题。我认为KubeCluster甚至可能有一个env=关键字之类的。在

对于更一般的代码，您是正确的，使用预加载脚本是当前最好的方法。但这并不是所有情况下都理想的。理想情况下，您可以在调度程序中注册一些启动代码，以便在所有工人启动时将其移交给他们。不过，这项规定在2018年8月1日尚未实施。在