在训练损失循环的确切位置应使用zero_grad()？在计算损失前后使用是否会有影响？

Question

我知道在进行反向传播之前需要把梯度清零，这个原因很明显。不过，我对应该在哪里调用zero_grad()感到困惑，因为我看到有些例子是在循环开始时调用，有些则是在loss.backward()之前调用，我不太能分清哪个是正确的，或者说它们之间有没有什么区别。

我试过这样做，发现我的准确率计算都有所变化，这让我有点好奇，想知道这背后的原因是什么，以及这是否真的重要。

Answer 1

所以，这两种情况都是在调用 backward() 函数之前。其实你把它放在哪里都没关系。你可以在调用 backward() 和 step() 之前放，也可以在之后放，只要不夹在 backward() 和 step() 之间就行。其实这主要取决于写代码的人自己的风格。

通常，如果你只有一个优化的步骤，人们一般会把 opt.zero_grad() 放在循环的开头。但如果你的模型比较复杂，有多个优化步骤，我通常会这样做：

encoder_opt.zero_grad()
encoder_loss = ...
encoder_loss.backward()
encoder_opt.step()

decoder_opt.zero_grad()
decoder_loss = ...
decoder_loss.backward()
decoder_opt.step()

这样可以让代码更容易阅读，也能让意思更清楚，我想是这样的。

关于你的实验，我觉得把它放在不同的行并不会产生不同的结果。因为你的模型权重在重新训练时会被初始化并以不同的方式更新。你可以设置一个特定的种子来保证结果的一致性。