pythonjug(或其他)用于集群环境中具有异构任务的令人尴尬的并行作业

2024-03-29 07:35:01 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一组常见的依赖作业,希望在PBS集群环境中有效地运行它们。我一直在使用Ruffus,对此我很满意,但我也希望尝试一下其他方法。在

python中看起来很有趣的一个是jug。然而,jug似乎认为这些工作在需求上是同质的。我有一些工作需要8GB的RAM,而其他的只需要100MB;有些可以消耗所有处理器,有些是单线程的。我的目标是能够快速组装一个管道,运行它并根据依赖关系进行“更新”,并合理地进行日志记录,这样我就可以看到还需要运行哪些作业。是否有人使用jug或其他类似的系统来满足这些需求?在


Tags: 方法目标管道环境关系作业记录集群
1条回答
网友
1楼 · 发布于 2024-03-29 07:35:01

jug的作者。在

Jug确实很好地处理了依赖关系。如果您更改任何输入或中间步骤,运行jug status将告诉您计算的状态。在

目前还没有办法指定某些任务(jug称之为jobs)应该分配多个进程。过去,每当我有要在多个线程中运行的任务时,我都被迫采用最坏情况下的方法,并将所有进程分配给jug execute进程。在

当然,这意味着单线程任务将占用所有进程。由于大部分计算是在多线程任务中进行的,所以这是可以接受的。在

相关问题 更多 >