MLgym,一个用于分布式机器学习模型训练的python框架。
mlgym的Python项目详细描述
MLgym公司
基于python框架的分布式机器学习模型训练研究。在
MLgym的核心功能是在多个gpu上以比例分割的方式运行Pytorch模型的网格搜索,并使用DashifyML集中存储结果。在
此外,MLgym还提供以下主要功能:
- 结果的再现性,这是由于完整的实验规范,包括数据集、预处理例程、模型体系结构、损失函数、度量等等。在
- 组件注册表以注册具有依赖项的自定义组件。例如,可以定义一个新的预处理例程组件。该组件可能依赖于一个迭代器组件,如实验配置中所指定的。在运行时,这些组件是动态实例化的。在
请注意,目前此代码应视为实验性代码,尚未准备好投入生产。
安装
安装MLgym有两种选择,最简单的方法是从pip存储库安装:
pip install mlgym
对于最新版本,可以通过cd
直接从源代码安装到根文件夹,然后运行
使用
注意:这个框架仍在大量开发中,主要用于研究项目。它很可能没有bug,接口仍然可以更改。
有关用法,请参阅此example。在
版权所有
版权所有(c)2020 Max Lübbering,Rajkumar Ramamurthy
有关许可证,请参见:https://github.com/le1nux/mlgym/blob/master/LICENSE
- 项目
标签: