在分布式clus上运行python代码

2024-05-16 13:21:23 发布

您现在位置：Python中文网/ 问答频道 /正文
1277 3

我需要使用python在5000个文件上并行运行一些numpy计算。我已经实现了顺序单机版本。并行运行代码的最简单方法是什么（比如使用ec2集群）？我是否应该编写自己的任务调度程序和作业分配代码？在


Tags： 文件方法代码程序版本numpy顺序作业
1条回答
网友
1楼 · 发布于 2024-05-16 13:21:23

您可以查看一下pschedulerPython模块。它允许您对作业进行排队并按顺序运行它们。并发进程的数量将取决于可用的CPU内核。这个程序可以很容易地进行扩展并将作业提交到远程计算机，但随后将要求所有远程计算机使用NFS。在

我很乐意进一步帮助你。在

相关问题 更多 >

    编程相关推荐