如何在多个节点间分发Python脚本
我在办公室有一些机器，想用它们来运行Python脚本。
我的想法是，有一台中央机器来管理这些Python脚本的部署，每台机器（节点）都和这台中央机器沟通，获取新的脚本等等。
这些脚本之间没有依赖关系，它们可以独立运行（抓取数据）并把结果存储在本地。
我不知道从哪里开始……我有一些想法，想写一些自动化的应用程序来实现这个，但我想我不是唯一一个想这样做的人。
G.
2 个回答
0
如果你还在寻找一个长期的解决方案（或者这个回答可以帮助到未来的人），我有个建议。我假设你想要的不是一次性的任务，而是一个长期的管理方案（如果我理解错了，请纠正我）。
可以使用一个配置管理工具——在你的情况下，就是一个管理节点，简单地部署 .py 脚本。
我推荐使用Ansible。使用 Ansible，你可以从一个控制节点开始，创建一个清单（也就是一份主机/机器的列表），然后把控制节点的公钥分享给所有的节点/机器。
这里有几个非常简单易懂的博客，可以帮助你入门：
免责声明：我是上述博客文章的作者。
0
有几点需要注意。你可能根本不需要一个管理节点。我曾经运行过一些计算，有管理节点的，也有没有管理节点的。根据你的集群情况，实际上直接提交一个shell脚本可能会更简单。通常集群里是有足够的内存来处理这个的。
这里有一些其他可以替代IPython的选项，不过Peter Sutton推荐的IPython确实很不错。