Pythorch:学习率计划

Question

如何将学习速率调度器与以下优化器一起使用？在

optimizer = torch.optim.Adam(optim_params,betas=(args.momentum, args.beta), weight_decay=args.weight_decay)

我编写了以下调度程序：

^{pr2}$

我不清楚我是应该执行调度程序还是优化程序。我应该按哪个顺序来执行以下操作？在

optimizer.zero_grad()
scheduler.step()
optimizer.step()

Answer 1

由于1.3行为发生了变化，请参见releases和{a2}。在

在此版本之前，您应该在optimizer之前使用step调度器，这在IMO看来是不合理的。有一些来回（实际上它破坏了向后兼容性，在我看来，为了这么小的不便而破坏它不是一个好主意），但目前您应该在optimizer之后执行scheduler。在

optimizer.zero_grad()
optimizer.step()
scheduler.step()