tf.data.Dataset是否删除缓存?

2024-06-11 06:04:09 发布

您现在位置:Python中文网/ 问答频道 /正文

是否可以删除在调用tf.data.Dataset.cache()后生成的内存缓存

这是我想做的。数据集的扩充成本非常高,因此当前代码或多或少是:

data = tf.data.Dataset(...) \
       .map(<expensive_augmentation>) \
       .cache() \
       # .shuffle().batch() etc. 

然而,这意味着data上的每次迭代都将看到相同的数据样本的增强版本。相反,我想做的是将缓存用于几个时代,然后重新开始,或者等效地执行类似于Dataset.map(<augmentation>).fleeting_cache().repeat(8)的操作。这有可能实现吗


Tags: 数据内存代码mapcachedatatfbatch