我试图在使用SLURM的集群上实现dask。但是,客户机已成功创建并在生产线上进行了缩放
with joblib.parallel_backend('dask'):
该操作获取工作超时错误,我从slurm作业中获取以下错误:
/usr/bin/python3: Error while finding module specification for 'distributed.cli.dask_worker' (ModuleNotFoundError: No module named 'distributed')
我已经检查了一下,以确保集群的节点上已经安装了distributed,并且我能够将它导入python而不会出现任何问题。有人知道为什么分布式会引起问题吗
用dask[complete]创造一个全新的康达环境似乎已经奏效
您没有安装
distributed
库。发生这种情况通常有以下几个原因:你做了
pip install dask
而不是pip install dask[complete]
或conda install dask
您已安装到计算机上运行的其他python可执行文件中
我看到您正在使用
/usr/bin/python3
。为了更安全,请尝试/usr/bin/python3 -m pip dask[complete]
工作计算机与登录节点不共享相同的文件系统
相关问题 更多 >
编程相关推荐