异构计算中的并行图形管理与执行
pathos的Python项目详细描述
关于病理学框架
pathos是一个异构计算的框架。它提供了一致的 用于配置和启动并行计算的高级接口 跨越异质资源。 pathos 为 并行和分布式计算,其中每个启动程序包含 在执行环境中配置和启动作业的语法逻辑。 插入 pathos 的启动程序示例有:一个基于无队列mpi的 启动程序(在 pyina 中)、基于ssh的启动程序(在 pathos 中)和多进程 启动程序(在 多进程中 )。
pathos 为并行和/或分布式提供了一致的接口 map和 的版本适用于每个发射器,从而降低了屏障 允许用户将其代码扩展到并行和/或分布式资源。 病理学背后的指导性设计原则是:map和apply。 应该是替换掉的串行代码,从而切换 对于一个或多个pathos启动程序来说 利用所选并行或分布式计算资源的代码。 这不仅大大减少了将代码转换为并行代码的时间,而且 还支持维护单个代码基,而不需要 并行、串行和分布式版本的代码。病理图可以是 嵌套的,因此分层异构计算是可能的 选择所需的 map 和 pipe ( apply )对象层次。
pathos框架由几个互操作包组成:
< Buff行情>- dill :序列化所有python的实用程序
- pox :用于文件系统探索和自动构建的实用程序
- klepto :对内存、磁盘或数据库的持久缓存
- 多进程 :python中更好的多进程和多线程处理
- ppft :分布式并行python
- pyina :mpi parallel map 和集群调度
- 病理学 :异构计算中的图形管理和执行