用于将函数提交到sge批处理集群的python接口

pysge的Python项目详细描述


          pysge      +     +
    /\         /\     \   O \
   / \\  /\   /\\\     \_/|\_\
  /   \\/ \\ /  \\\       \\
       /   \/    \\\     \/'
      /    /      \\\     \\_
     /    /        \\\     -

使用TQM进度条在(IC)SGE批处理集群上调用Python函数。

如何使用

Docsexample of SGE submission

高级接口使用:

import pysge

tasks = [...] # list of dicts with keys ["task", "args", "kwargs"] run on each node as task(*args, **kwargs)

results = pysge.local_submit(tasks)
results = pysge.mp_submit(tasks, ncores=4)
results = pysge.sge_submit(tasks, "name", "/tmp/pysge-temporaries", options="-q hep.q")

返回值是按任务顺序排列的每个任务的结果列表。

工作原理

对于sge批处理系统,将创建一个工作区,并对函数+args+kwargs进行修改。然后,提交者使用子流程将每个dilled文件提交给批处理。监视器检查这些作业的状态,等待所有作业完成并返回结果。

对于多处理,不需要工作区,提交者使用多处理。

对于本地,不需要提交者。它只是循环执行任务。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java应用程序不是在Eclipse中运行,而是在命令行中运行   swing Java图形组件问题。似乎找不到错误   我需要键盘。close();让代码正常工作?   Springboot中的java HttpSession   抽象语法树我想添加一个语句。我试图解析它,java解析器异常被抛出。如何克服它?   java Hibernate:清理会话   具有不连续子集的java划分问题   java正则表达式查找最后一个冒号后的字符串   java从SpringShell执行OS命令   Java扫描器字符串输入   java字符串索引越界异常(charAt)   java执行器服务终止被卡住   Springockito没有继承java@ContextConfiguration   java如何为一个servlet映射多个url   java安卓获取命令的stderr   java生成类型。表:数据库中的大数字   安卓 Getter Setter返回NothingJava