创建要在自定义HPC上启动的dask_作业队列调度器

2024-06-16 09:45:31 发布

您现在位置:Python中文网/ 问答频道 /正文

我是dask新手,尝试在使用NC作业调度器的集群中使用它(来自运行时设计自动化,类似于LSF)。我试图创建一个类似于LSFCluster的NCCluster类,以保持简单

为自定义集群创建作业调度器涉及哪些步骤? 有没有其他方法可以在不使用JobQueueCluster的情况下将dask连接到自定义集群

我可以找到关于如何使用LSFCluster/PBSCluster/…的信息,但找不到关于为其他HPC创建一个的更多信息

任何指向材料/示例/文档的链接都会有所帮助

谢谢


Tags: 方法信息作业情况步骤集群调度dask
2条回答

看了源代码后,它就可以工作了。 任何人尝试的提示:

  • 创建自定义群集&;customJob类类似于LSFCluster&;LSFJob
  • 覆盖以下内容
    • 提交命令
    • 取消命令
    • config_name(您必须在jobqueue.yaml中定义它)
    • 根据集群的不同,您可能需要覆盖_submit_job、_job_id_from_submit_output和其他函数

希望这有帮助

截至2019年10月14日,没有关于如何为dask jobqueue创建新群集管理器的文档。尽管如此,源代码还是不错的。我鼓励您参与GitHub问题跟踪https://github.com/dask/dask-jobqueue/issues/new

相关问题 更多 >