在prarallel中传输文件并在远程执行的实用程序

corunner的Python项目详细描述


描述:
这是一个在多个节点上同时执行程序的框架。
它由两个模块组成:控制器和执行器。控制器控制整个过程,首先将执行器
和用户定义的程序文件分派给用户指定的所有节点。然后远程启动执行器,等待所有执行器结束。执行器运行用户指定的程序并向控制器报告。当它完成时,它通知
控制器,然后退出。在所有执行器报告了它们的状态或达到超时超时后,控制器退出。
然后用户可以发送另一个请求来获取结果。
要监视每个执行者的状态,执行者必须向控制器报告。当一个执行器在
预定义的超时时间内无法报告时,控制器会将其标记为死亡。如果控制器稍后收到报告,它会再次将状态更改为“活动”。控制器从不等待死节点。

这很简单,执行器只有一个文件。
最小资源消耗:
执行分布在所有节点中,而且控制器消耗的资源很少(主要用于监视心跳)

环境:
这只是在linux环境下的python2.7和python2.6上测试的。
它基于ssh和scp进行网络通信,在执行之前,您应该使用所有执行器对控制器进行身份验证。

命令:
corunner run:to同时在多个节点中运行程序。
corunner cp:同时从多个节点或向多个节点发送文件。

示例:
1。在所有机器上执行myscript,从192.168.101到192.168.200,同时关闭heartbeat:
在控制器中运行:corunner run-n 192.168.100.101..200-f myscript-r“/tmp/corunner”-i 1 python/tmp/corunner/myscript
2。从上面收集到控制器的所有输出文件并放入单独的目录:
在控制器中运行:corunner cp-n 192.168.100.101..200-i-s/tmp/corunner/ouput-d/temp/corunner/all--divide


其他:
如果您有任何问题或建议,欢迎与我联系,我的电子邮件是zwsun<;sun33170161@gmail.com>;。我很高兴它能帮助您在使用许多机器时提高效率。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java使用tomcat时,如何加载JDBC驱动程序?   Spring数据Rest中嵌套资源的java分页   java从ImagesService创建URL需要多长时间。getServingUrl last   java的纸牌游戏战争与处理   内存不足的java解释探查器输出:PermGen空间错误   如何在java代码中等待scala的未来   java在安卓studio中通过if-else子句后,如何访问变量的新值   javascript DHTMLX甘特API   意图启动期间的java运行时异常   Java中的用户界面复合组件   java Hibernate更新调用在@OneToOne映射中生成新行   正则表达式在N个数的序列中计数零   java设置在何处查找audit4j的配置文件   maven JSR352:Annotation@Named在JavaSE中不起作用   java以更实用的方式对目录进行分组   JavaEclipse不再打开   java机器人按键VK_控件在Macbook上工作?   java如何等待所有线程完成执行?