用于将函数提交到sge批处理集群的python接口

pysge的Python项目详细描述


          pysge      +     +
    /\         /\     \   O \
   / \\  /\   /\\\     \_/|\_\
  /   \\/ \\ /  \\\       \\
       /   \/    \\\     \/'
      /    /      \\\     \\_
     /    /        \\\     -

使用TQM进度条在(IC)SGE批处理集群上调用Python函数。

如何使用

Docsexample of SGE submission

高级接口使用:

import pysge

tasks = [...] # list of dicts with keys ["task", "args", "kwargs"] run on each node as task(*args, **kwargs)

results = pysge.local_submit(tasks)
results = pysge.mp_submit(tasks, ncores=4)
results = pysge.sge_submit(tasks, "name", "/tmp/pysge-temporaries", options="-q hep.q")

返回值是按任务顺序排列的每个任务的结果列表。

工作原理

对于sge批处理系统,将创建一个工作区,并对函数+args+kwargs进行修改。然后,提交者使用子流程将每个dilled文件提交给批处理。监视器检查这些作业的状态,等待所有作业完成并返回结果。

对于多处理,不需要工作区,提交者使用多处理。

对于本地,不需要提交者。它只是循环执行任务。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java获取textview的文本并将其粘贴到另一个上   java ImageIO。write()不保存文件   java H2数据库排序字符串时间戳,格式为yyyyMMdd'T'hh:mm:ss。SSSSSSS'Z'   java匿名类与静态字段   java将一个句子拆分为字符串数组,并保留特殊字符或空格   JavaBIRT报告引擎。计算Javascript表达式时出错   日志表的java MySQL隔离级别读取未提交   java Android调用意图权限   java如何在iText 7中查找文本位置和边界   从Groovy调用Java类主方法时,避免参数数量不正确   java libGDX:在批处理调用stage constructor时,为舞台上的演员绘制纹理作为背景   java randoop可以利用usermade JUnit测试生成测试吗?   java Eclipse工作区将不再显示我的项目