我的数据集由293个TF记录组成,我正在COLAB TPU上从头开始训练BERT。由于COLAB TPU每12小时关闭一次,我需要从GCS存储桶上保存的检查点重新开始训练。你知道吗
那么,当重新开始训练时,估计器是从关机前的最后一批继续训练,还是从第一个TFrecord文件中的第一批继续训练?你知道吗
我的tfrecords是使用create\u pretraining创建的_数据.py从BERT使用这个命令(ls ./shards/ | xargs -n 1 -P 8 -I{} python3 bert/create_pretraining_data.py --input_file=./shards/{} --output_file=pretraining_data/{}.tfrecord
),其中每个shard包含256000个句子。你知道吗
这里还有所使用的COLAB笔记本的链接:COLAB
目前没有回答
相关问题 更多 >
编程相关推荐