对gridengine调度程序的增强
gridengine-goodies的Python项目详细描述
gridengine goodies:gridengine的增强功能
gridengine-goodies
包提供了一些命令行脚本,这些脚本增强了
gridengine调度系统
qsubx:一个改进的qsub
qsubx允许一次提交多个作业,同时队列中最多保留n个作业。 这样你就可以提交大量的工作,并且仍然对你的用户保持礼貌。
qsubx -n 100 job_*.sh
注意,n=100是默认值。qsubx
在提交所有作业之前不会返回。
qdelx:通过正则表达式删除作业
按名称删除作业
qdelx sim_T*_rho*
删除队列中等待的所有作业
qdelx qw
qstatx:一种改进的qstat
它提供了更好的布局和完整的作业名称(改编自jeet sukumaran的代码)。 qstatx的主要优点是提供完整(或几乎完整)的作业名称和更好的布局。
------------------------------------------------------------------------------------------------
id name owner submitted state queue node slots
------------------------------------------------------------------------------------------------
124905 sleep_10 coslo 2018-10-09 15:54:42 r all.q varda.coulomb.univ-mon 1
124906 sleep_10 coslo 2018-10-09 15:54:42 r all.q varda.coulomb.univ-mon 1
124907 sleep_10 coslo 2018-10-09 15:54:42 r all.q varda.coulomb.univ-mon 1
124908 sleep_10 coslo 2018-10-09 15:54:42 r all.q varda.coulomb.univ-mon 1
124909 sleep_10 coslo 2018-10-09 15:54:44 qw 1
124910 sleep_10 coslo 2018-10-09 15:54:44 qw 1
124911 sleep_10 coslo 2018-10-09 15:54:44 qw 1
124912 sleep_10 coslo 2018-10-09 15:54:44 qw 1
------------------------------------------------------------------------------------------------
Running : 4 (slots: 4)
Hold : 0 (slots: 0)
Pending : 4 (slots: 4)
Deletion : 0 (slots: 0)
Error : 0 (slots: 0)
------------------------------------------------------------------------------------------------
qexec:在集群上执行命令
直接在计算节点上执行命令作业文件是动态创建的,并存储在用户.local/share
文件夹下的临时目录中。行为类似于^ {< CD6> },但是^ {< CD7> }更灵活,并且如果需要的话,可以提供对作业文件和日志的持久访问。
这个作业将休眠10秒
qexec -c sleep 10
提交名为code.x
的脚本或程序,并将日志文件存储在output_dir
文件夹中
qexec -o output_dir -c code.x --verbose -param 1.0
qbarrier:在某些作业结束之前停止执行
它提供了在作业之间创建命令行级依赖关系的简单方法。 有关对作业依赖项的更精细控制,请参阅gridengine文档中的“作业数组”
安装
上面的好东西是普通的python和bash脚本。你可以复制它们,然后把它们放在你的路上。 但是,为了跟上更新的步伐,最好克隆代码存储库并相应地安装脚本
git clone https://gitlab.info-ufr.univ-montp2.fr/daniele.coslovich/gridengine-goodies.git
cd gridengine-goodies
make user
上面的过程将把脚本放在~/.local/bin
中,因此请确保它位于PATH
exportPATH=$HOME/.local/bin:$PATH
将上面的行添加到您的.bashrc
中,使其在会话之间保持不变。
更新到最新版本
cd gridengine-goodies
git pull
make user
作者
丹尼尔科斯洛维奇:http://www.coulomb.univ-montp2.fr/perso/daniele.coslovich/