在prarallel中传输文件并在远程执行的实用程序
corunner的Python项目详细描述
描述:
这是一个在多个节点上同时执行程序的框架。
它由两个模块组成:控制器和执行器。控制器控制整个过程,首先将执行器
和用户定义的程序文件分派给用户指定的所有节点。然后远程启动执行器,等待所有执行器结束。执行器运行用户指定的程序并向控制器报告。当它完成时,它通知
控制器,然后退出。在所有执行器报告了它们的状态或达到超时超时后,控制器退出。
然后用户可以发送另一个请求来获取结果。
要监视每个执行者的状态,执行者必须向控制器报告。当一个执行器在
预定义的超时时间内无法报告时,控制器会将其标记为死亡。如果控制器稍后收到报告,它会再次将状态更改为“活动”。控制器从不等待死节点。
这很简单,执行器只有一个文件。
最小资源消耗:
执行分布在所有节点中,而且控制器消耗的资源很少(主要用于监视心跳)
环境:
这只是在linux环境下的python2.7和python2.6上测试的。
它基于ssh和scp进行网络通信,在执行之前,您应该使用所有执行器对控制器进行身份验证。
命令:
corunner run:to同时在多个节点中运行程序。
corunner cp:同时从多个节点或向多个节点发送文件。
示例:
1。在所有机器上执行myscript,从192.168.101到192.168.200,同时关闭heartbeat:
在控制器中运行:corunner run-n 192.168.100.101..200-f myscript-r“/tmp/corunner”-i 1 python/tmp/corunner/myscript
2。从上面收集到控制器的所有输出文件并放入单独的目录:
在控制器中运行:corunner cp-n 192.168.100.101..200-i-s/tmp/corunner/ouput-d/temp/corunner/all--divide
其他:
如果您有任何问题或建议,欢迎与我联系,我的电子邮件是zwsun<;sun33170161@gmail.com>;。我很高兴它能帮助您在使用许多机器时提高效率。
这是一个在多个节点上同时执行程序的框架。
它由两个模块组成:控制器和执行器。控制器控制整个过程,首先将执行器
和用户定义的程序文件分派给用户指定的所有节点。然后远程启动执行器,等待所有执行器结束。执行器运行用户指定的程序并向控制器报告。当它完成时,它通知
控制器,然后退出。在所有执行器报告了它们的状态或达到超时超时后,控制器退出。
然后用户可以发送另一个请求来获取结果。
要监视每个执行者的状态,执行者必须向控制器报告。当一个执行器在
预定义的超时时间内无法报告时,控制器会将其标记为死亡。如果控制器稍后收到报告,它会再次将状态更改为“活动”。控制器从不等待死节点。
这很简单,执行器只有一个文件。
最小资源消耗:
执行分布在所有节点中,而且控制器消耗的资源很少(主要用于监视心跳)
环境:
这只是在linux环境下的python2.7和python2.6上测试的。
它基于ssh和scp进行网络通信,在执行之前,您应该使用所有执行器对控制器进行身份验证。
命令:
corunner run:to同时在多个节点中运行程序。
corunner cp:同时从多个节点或向多个节点发送文件。
示例:
1。在所有机器上执行myscript,从192.168.101到192.168.200,同时关闭heartbeat:
在控制器中运行:corunner run-n 192.168.100.101..200-f myscript-r“/tmp/corunner”-i 1 python/tmp/corunner/myscript
2。从上面收集到控制器的所有输出文件并放入单独的目录:
在控制器中运行:corunner cp-n 192.168.100.101..200-i-s/tmp/corunner/ouput-d/temp/corunner/all--divide
其他:
如果您有任何问题或建议,欢迎与我联系,我的电子邮件是zwsun<;sun33170161@gmail.com>;。我很高兴它能帮助您在使用许多机器时提高效率。