在AI平台（CMLE）上使用tensorflow_数据集库

Question

我正在使用mnist数据集的tesorflow_数据集库在GCP AI平台上进行训练。我正在使用tf.gan估计器。我已经编写了一个输入管道，它使用tfds库读取mnist数据

import tensorflow_datasets as tfds
ds = tfds.load('mnist', split=self.split, shuffle_files=self.shuffle)

我已经在实例上使用相同的“tensorflow_数据集”库训练了我的gan模型，并且模型训练良好。我已经将我的代码包装到包中，以便在AI平台上运行它。在AI平台上训练时，训练会被一个警告卡住，这表明

Dataset mnist is hosted on GCS. It will automatically be downloaded to your local data
directory. If you'd instead prefer to read directly from our public GCS bucket.

尽管训练受阻，但消耗的ML单位仍在不断增加

Answer 1

“tensorflow_数据集”库接受一个参数“data_dir”。如果您在GCP上使用此库，建议使用“data_dir”，它在已上载tensorflow数据集的位置使用bucket bath

import tensorflow_datasets as tfds
ds = tfds.load('mnist', split=self.split,shuffle_files=self.shuffle, \
     data_dir='gs://tfds-data/datasets')

希望这会发生。你也可以检查这个桶。它是一个包含数据集的公共存储桶

gsutil ls gs://tfds-data/datasets/

您可以查看所有数据集

gs://tfds-data/datasets/
gs://tfds-data/datasets/downloads/
gs://tfds-data/datasets/groove/
gs://tfds-data/datasets/mnist/
gs://tfds-data/datasets/nsynth/
gs://tfds-data/datasets/wikipedia/