使用tf.distribute.MirroredStrategy（单主机，多GPU）时的有效学习率
当使用tf.distribute.MirroredStrategy（一个主机，多张GPU）时，有效的学习率是你想要的学习率乘以GPU的数量（也就是说，把学习率乘以GPU的数量），还是说在只用一张GPU时的学习率就可以了？
举个例子，如果我在使用一张GPU时想要学习率=1E-3，我只需要设置学习率=1E-3（不使用tf.distribute.MirroredStrategy）；那么如果我用tf.distribute.MirroredStrategy并且有8张GPU，我应该把学习率设置为8E-3（8 * 1E-3），就像在扩展到8张GPU时我也要把批量大小乘以8一样，还是说我只需要用1E-3作为学习率就可以了？
提前谢谢你！
1 个回答
2
一般来说，当你使用更大的批量大小时，建议使用更大的学习率，因为每一步处理的数据更多。
根据这个指南 使用Keras进行分布式训练：
对于更大的数据集，分布式训练的主要好处是每一步可以学习更多，因为每一步同时处理更多的训练数据，这样就可以使用更大的学习率（当然要在模型和数据集的限制范围内）。
但是正如引用中提到的，这要看你的数据集和模型的大小。一个小模型（参数少）可能对过高的学习率反应不好。
想了解更多关于如何根据批量大小调整学习率的内容，可以看看这个问题： 批量大小变化时，学习率应该如何变化？