超并行多节点任务执行引擎
parallelic的Python项目详细描述
平行
Parallelic是一个具有共享数据和工作空间功能的超并行多节点任务执行引擎。
警告注释
并行不是集装箱化/沙箱引擎。它并不构成完全的任务隔离，也不提供这样的保证。这种情况在未来可能会发生变化，您可以随意为实现这一目标贡献代码，但同时，在向第三方提供访问并行系统的权限时，请考虑到这一点。
安装
从git
- 在本地克隆git repo。
- 下载python3（.7）和相应的pip
- 安装Poetry
- 运行
poetry install创建virtualenv并安装依赖项
此时，您可以使用parallelic throughpoetry run parallelic - 运行
poetry build以生成轮子 - 运行
pip install dist/parallelic-[version]-py3-none-any.whl
现在你可以不用诗歌来使用平行：python -m parallelic
来自PIP
- 运行
pip install parallelic
用法
运行任务
若要运行已定义的任务，请通过Parallelic WebUI或Parallelic CLI客户端将任务包（压缩后的任务根目录）上载到Parallelic Manager实例。
根据并行系统配置，在允许上载任务包之前，您可能需要提供访问凭据。
从这里开始，parallelic manager实例将处理其他所有事情。
定义任务
任务根目录包含一个task.toml文件，该文件包含管理器为计算节点设置和准备资源以运行特定任务所需的元数据。
如果任务不需要其他文件，则任务定义只能是task.toml文件。
目录树不遵循特定的约定，并且可以不同于任务。任务定义文件应包含定义入口点和工作目录的部分。入口点和工作目录都必须相对于任务根目录。
学分
由骗子动画维护的包
欢迎加入QQ群-->： 979659372
