NoModuleFoundError:没有名为“分布式”的模块

2024-05-15 12:19:50 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图在使用SLURM的集群上实现dask。但是,客户机已成功创建并在生产线上进行了缩放

with joblib.parallel_backend('dask'):

该操作获取工作超时错误,我从slurm作业中获取以下错误:

/usr/bin/python3: Error while finding module specification for 'distributed.cli.dask_worker' (ModuleNotFoundError: No module named 'distributed')

我已经检查了一下,以确保集群的节点上已经安装了distributed,并且我能够将它导入python而不会出现任何问题。有人知道为什么分布式会引起问题吗


Tags: backend客户机parallelusr错误with作业集群
2条回答

用dask[complete]创造一个全新的康达环境似乎已经奏效

您没有安装distributed库。发生这种情况通常有以下几个原因:

  1. 你做了pip install dask而不是pip install dask[complete]conda install dask

  2. 您已安装到计算机上运行的其他python可执行文件中

    我看到您正在使用/usr/bin/python3。为了更安全,请尝试/usr/bin/python3 -m pip dask[complete]

  3. 工作计算机与登录节点不共享相同的文件系统

相关问题 更多 >