如何在tensorflow中从google bucket读取文件？

Question

为了训练tensorflow模型，我正在从google云平台bucket加载一个自定义数据集，如下所示：

GCP_BUCKET = "stereo-train"

tfc.run(
    requirements_txt="requirements.txt",
    chief_config=tfc.MachineConfig(
        cpu_cores=8,
        memory=30,
        accelerator_type=tfc.AcceleratorType.NVIDIA_TESLA_T4,
        accelerator_count=1,
    ),
    docker_image_bucket_name=GCP_BUCKET,
)
kitti = "gs://stereo-train/data_scene_flow"


kitti_train = str(kitti + "/training/dat/data/")

img_height = 375
img_width = 1242

feature_size = 32
batch_size = 6
filenames = np.sort(np.asarray(os.listdir(kitti_train))).tolist()
# Make a Dataset of image tensors by reading and decoding the files.
ds = list(map(lambda x: tf.io.decode_image(tf.io.read_file(kitti_train + x)), filenames))

但是google云平台控制台给了我以下错误：

FileNotFoundError: [Errno 2] No such file or directory: 'gs://stereo-train/data_scene_flow/training/dat/data/'

立体声列车存储桶确实存在于目录层次结构中

Answer 1

若您在本地运行它，可能是连接问题，请下载GCP控制台并尝试从控制台访问bucket

Answer 2

tf.io.read_file()方法用于本地文件，不适用于gs://协议。相反，您应该使用^{}