当我使用列车估算器（）是否使用最后一批数据继续训练？

Question

我的数据集由293个TF记录组成，我正在COLAB TPU上从头开始训练BERT。由于COLAB TPU每12小时关闭一次，我需要从GCS存储桶上保存的检查点重新开始训练。你知道吗

那么，当重新开始训练时，估计器是从关机前的最后一批继续训练，还是从第一个TFrecord文件中的第一批继续训练？你知道吗

我的tfrecords是使用create\u pretraining创建的_数据.py从BERT使用这个命令（ls ./shards/ | xargs -n 1 -P 8 -I{} python3 bert/create_pretraining_data.py --input_file=./shards/{} --output_file=pretraining_data/{}.tfrecord），其中每个shard包含256000个句子。你知道吗

这里还有所使用的COLAB笔记本的链接：COLAB