使用多台计算机运行Python脚本(网格/集群)

0 投票
1 回答
3515 浏览
提问于 2025-04-18 16:52

有没有办法通过我的网络服务器,让几台电脑一起运行我的Python脚本?如果有人能给我一些方向,我愿意做更多的研究,但我好像找不到有用的信息。

1 个回答

2

一个简单的脚本不能自动分发,你需要把它拆分成可以独立运行的部分,这样每个部分在接到问题的一部分时才能工作。这些部分会根据从像PyMPI这样的库接收到的指令来运行,或者从像http://aws.amazon.com/sqs/这样的队列系统中获取指令。

这也意味着你不能依赖共享的本地内存。任何需要交换的数据都必须作为指令的一部分进行交换,或者存储在共享文件系统中,或者放在像AWS Dynamo、Redis等数据库里。

如果你想了解更多资源,可以在https://wiki.python.org/moin/ParallelProcessing的集群计算部分找到很多相关链接。

撰写回答