PyTorch模型的最优学习率搜索算法
pytorch-lr-tuner的Python项目详细描述
Pythorch学习速率调谐器
pythorch包用于绘制PyTorch神经网络模型的不同学习率下的损失图,并为特定优化器找到最佳学习率。在
安装:
pip install pytorch-lr-tuner
依赖性:
- Python 3.6
- Numpy公司
- 熊猫
- Matplotlib库
- 火把
示例:
该包包括LearningRateFinder
类,可以用pytorch模型引用、优化器、准则和训练集实例化。fit()
方法通过乘法增量和指数加权平均和偏差校正来搜索最优学习率,并通过调用plot()
方法获得该日志的可视化。在
输出:
在
在这里,损失梯度最大的学习速率可以推断为该特定架构的最佳学习速率。在
- 项目
标签: