快速问题：实际上，使用tfds.load中的shuffle_文件来洗牌数据

Question

使用tfds.load在最新版本的TF中调用shuffle_文件时，如果像imagenet这样加载的数据集（我认为分成1024个不同的文件）被调用为：

tfds.load(name = 'imagenet', shuffle_files = True)

这将洗牌不同的文件，但不是每个1024个文件中的实际图像。有什么理由在实践中这样做吗？这是不是和你通常在将100幅图像送入NN之前洗牌的原因相同

谢谢大家!

Answer 1

我想你说的是“imagenet2012”，所以你的代码应该是：

ds = tfds.load('imagenet2012', split='train', shuffle_files=True)

如果是imagenet，您的意思是，您需要查看此页面load imagenet

这里的参数shuffle_files将在批量加载时洗牌文件。但您也应该洗牌数据集。这里有一个关于数据集洗牌如何工作的教程shuffle_repeat_explained 在这里，您还可以找到shuffle_文件如何使perormances更好shuffle and training