允许在超级计算机群集上使用calculate()函数映射大型对象列表
ClusterPool的Python项目详细描述
#群集池
提供一个与slurm超级计算机调度程序一起工作并可扩展到其他程序的映射函数。也适用于“普通”计算机,主要用于测试目的。(参见examples/testfile_primes.py)
clusterpool对象是一个提供map函数的对象。您可以告诉CultPo水池存在什么样的体系结构(目前只是SLURM)和“Surm”,它创建了一个调度对象,它跟踪需要计算的对象,将它们保存到磁盘并在计算完成后收集它们。
这些对象是由“trawler”对象计算的,这些对象由调度器激活,并被赋予一个充满pickled python对象的目录。然后,拖网渔船随机选取一个对象,并在文件系统上抛出一个sempahore来告诉其他拖网渔船他们正在处理这个对象。它们加载对象和run object.calculate()(请注意,当前clusterpool包只能处理调用calculate的函数,这些函数不带参数)