谷歌云存储没有此类文件或目录错误

Question

我对谷歌云平台还很陌生，我正在尝试用TPU训练一个模型。我遵循这个tutorial来使用Google Colab建立TPU。下面的所有代码都遵循教程

这是我所做的步骤：

import datetime
import json
import os
import pprint
import random
import string
import sys
import tensorflow as tf

assert 'COLAB_TPU_ADDR' in os.environ, 'ERROR: Not connected to a TPU runtime; please see the first cell in this notebook for instructions!'
TPU_ADDRESS = 'grpc://' + os.environ['COLAB_TPU_ADDR']
print('TPU address is => ', TPU_ADDRESS)

from google.colab import auth
auth.authenticate_user()
with tf.Session(TPU_ADDRESS) as session:
  print('TPU devices:')
  pprint.pprint(session.list_devices())

  # Upload credentials to TPU.
  with open('/content/adc.json', 'r') as f:
    auth_info = json.load(f)
  tf.contrib.cloud.configure_gcs(session, credentials=auth_info)
  # Now credentials are set for all future sessions on this TPU.

输出：

TPU address is =>  grpc://10.4.89.154:8470

请提供我的BUCKET姓名和OUPUT DIRECTORY姓名：

BUCKET = 'my_xlnet' #@param {type:"string"}
assert BUCKET, '*** Must specify an existing GCS bucket name ***'
output_dir_name = 'xlnet_output' #@param {type:"string"}
BUCKET_NAME = 'gs://{}'.format(BUCKET)
OUTPUT_DIR = 'gs://{}/{}'.format(BUCKET,output_dir_name)
tf.gfile.MakeDirs(OUTPUT_DIR)
print('***** Model output directory: {} *****'.format(OUTPUT_DIR))

将预训练模型移动到GCS铲斗：

!gsutil mv /content/xlnet_extension_tf/model/xlnet_cased_L-24_H-1024_A-16 $BUCKET_NAME

输出：

...
Operation completed over 5 objects/1.3 GiB.   

然后运行主代码：

!python /content/xlnet_extension_tf/run_coqa.py \
--use_tpu=True \
--tpu_name=grpc://10.4.89.154:8470 \
--spiece_model_file=$BUCKET_NAME/xlnet_cased_L-24_H-1024_A-16/spiece.model \
--model_config_path=$BUCKET_NAME/xlnet_cased_L-24_H-1024_A-16/xlnet_config.json \
--init_checkpoint=$BUCKET_NAME/xlnet_cased_L-24_H-1024_A-16/xlnet_model.ckpt \
...

然后我得到了这个错误：

OSError: Not found: "gs://my_xlnet/xlnet_cased_L-24_H-1024_A-16/spiece.model": No such file or directory Error #2

这是地面军事系统铲斗屏幕：

我不知道为什么会出现这个错误，因为我可以成功地将我的预训练模型移动到桶中

你们知道怎么解决这个问题吗

更新：

run_coqa.py文件：https://github.com/stevezheng23/xlnet_extension_tf/blob/master/run_coqa.py

Answer 1

你能把run_coqa.py打开文件的部分贴出来吗

似乎您正试图使用一个常规的os.命令打开它，您应该在该命令中使用GCP的sdk

Answer 2

本教程由第三方创建。我现在看不到有任何常见的问题会阻止代码运行