Adam优化器状态

Question

我正在谷歌协作平台上使用Tensorflow训练CNN模型。我正在努力训练我的模型进行100000次迭代。我使用的是tensorflow中提供的Adam优化器，它可以在内部自适应地降低学习速率。由于帐户会话终止或其他一些节省时间的原因，我在1000次迭代后保存模型，并在从保存的检查点文件重新加载网络后恢复训练。在

根据Tensorflow documentation，在每次迭代（时间步）t中，学习率计算如下

t<；-t+1 lr_t<；-学习率*sqrt（1-beta2^t）/（1-beta1^t）

我的问题是，当我从保存的检查点文件重新加载网络时，优化器状态是从上一次迭代（比如t=1000）恢复的（即变量t，beta2，beta1），还是假设t=0重新序列化？如果它被重新初始化，那么如何在从检查点文件重新加载模型之后恢复优化器状态？在