允许在超级计算机群集上使用calculate()函数映射大型对象列表

ClusterPool的Python项目详细描述


#群集池

提供一个与slurm超级计算机调度程序一起工作并可扩展到其他程序的映射函数。也适用于“普通”计算机,主要用于测试目的。(参见examples/testfile_primes.py)

clusterpool对象是一个提供map函数的对象。您可以告诉CultPo水池存在什么样的体系结构(目前只是SLURM)和“Surm”,它创建了一个调度对象,它跟踪需要计算的对象,将它们保存到磁盘并在计算完成后收集它们。

这些对象是由“trawler”对象计算的,这些对象由调度器激活,并被赋予一个充满pickled python对象的目录。然后,拖网渔船随机选取一个对象,并在文件系统上抛出一个sempahore来告诉其他拖网渔船他们正在处理这个对象。它们加载对象和run object.calculate()(请注意,当前clusterpool包只能处理调用calculate的函数,这些函数不带参数)

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java Spring框架服务单元测试   在Java中遍历hashmaps的hashmap以检索字符串值   如何使用CodeQL检查Java注释是否具有特定属性?   java为什么在Spring Boot中访问此资源而不是登录弹出窗口需要始终获得完全身份验证   处理将多集计数转换为列表的过程   java另一个线性布局,没有出现按钮   eclipse Java映像加载未显示在jar中   java Junit类无法加载基本测试类ApplicationContext   java如何在main中使用my getvalues()方法打印列表   java Sonar,S128:切换案例应该以无条件的“中断”语句结束,而不是继续   java从socket读取字符串错误连接重置错误   java使用新数据刷新任意图表饼图   java通过异步运行lambda访问方法参数   java错误的结果一旦我处理try and catch