机制是什么tf.data.dataset.洗牌？

Question

假设我在一个tfrecord中有100000个示例。我用缓冲区大小100做一次随机播放，它会每100个例子洗牌一次，在我们消耗完所有的例子之后，再画100个例子到shuffle中。或者，当我们使用训练数据时，它也会填充后面的示例，并从洗牌中统一提取，这样在某个时间点，每个示例都有一定的概率在缓冲区中？在

它认为后者更有意义。洗牌功能是如何实现的吗？我查了一下，找到了解释这个机制的来源。在

谢谢。在

Answer 1

取自here

The Dataset.shuffle()transformation randomly shuffles the input dataset using a similar algorithm to tf.RandomShuffleQueue: it maintains a fixed-size buffer and chooses the next element uniformly at random from that buffer.

您可以找到操作here的定义，它指向^{}。在

此外，请注意，shuffle操作还允许您确定如何绘制批处理（即，在一个epoch之后，数据集是否总共是伪随机随机洗牌）。在