Tensorflow：关于adam optimiz的困惑

Question

我对adam优化器在tensorflow中的实际工作方式感到困惑。

我阅读docs的方式是，学习率在每次梯度下降迭代中都会改变。

但是当我调用这个函数时，我给它一个学习速率。我不会调用函数，比如说，执行一个epoch（隐式调用迭代，以便通过我的数据训练）。我为每个批显式调用函数，如下所示

for epoch in epochs
     for batch in data
          sess.run(train_adam_step, feed_dict={eta:1e-3})

所以我的预计到达时间不能改变。我不会把时间变量传进来。或者这是某种生成器类型的东西，在会话创建时，每次调用优化器时t都会递增？

假设这是某种生成器类型的事情，并且学习率正在无形中降低：我如何才能在不降低学习率的情况下运行adam优化器？在我看来RMSProp基本上是一样的，我要做的唯一的事情就是改变超参数momentum和decay来分别匹配beta1和beta2。是这样吗？

Answer 1

RMSúPROP和ADAM都有自适应学习率。

基本RMS属性

cache = decay_rate * cache + (1 - decay_rate) * dx**2
x += - learning_rate * dx / (np.sqrt(cache) + eps)

您可以看到，它最初有两个参数衰减率和每股收益

然后我们可以增加一个动量，使梯度更稳定，然后我们可以写

cache = decay_rate * cache + (1 - decay_rate) * dx**2
**m = beta1*m + (1-beta1)*dx**  [beta1 =momentum parameter in the doc ]
x += - learning_rate * dx / (np.sqrt(cache) + eps)

现在你可以看到，如果我们保持beta1=o，那么它是没有动量的rms_prop。

然后是ADAM的基础知识

在cs-231 Andrej Karpathy中，亚当最初是这样描述的

Adam is a recently proposed update that looks a bit like RMSProp with momentum

是的！那么，这与带有动量的rms_道具有什么区别呢？

m = beta1*m + (1-beta1)*dx
v = beta2*v + (1-beta2)*(dx**2)
**x += - learning_rate * m / (np.sqrt(v) + eps)**

他在更新方程中再次提到，m，v更光滑。

因此，与rms_prop的不同之处在于更新的噪音更小。

什么声音？

在初始化过程中，我们将m和v初始化为零。

m=v=0

为了减少这种初始化效果，总是要进行一些预热。所以等式是

m = beta1*m + (1-beta1)*dx          beta1 -o.9 beta2-0.999
**mt = m / (1-beta1**t)**
v = beta2*v + (1-beta2)*(dx**2)
**vt = v / (1-beta2**t)**
x += - learning_rate * mt / (np.sqrt(vt) + eps)

现在我们运行这个程序几次迭代。很明显注意粗体的线条，你可以看到当t增加（迭代次数）时，mt发生的事情

mt=m