如何裁剪coco数据集以进行预处理？

Question

我想使用coco数据集来训练tensorflow 2.1中的ssd（单激发多盒探测器）网络

报纸上说他们使用图像裁剪来增强鲁棒性，所以我尝试使用tf.image.sample_distorted_bounding_box()

但是，我意识到该函数只调整边界框的大小，而不保留相应的标签

如何裁剪保留了适当BBox和标签的图像？“适当”意味着随着图像的更改，bbox坐标将被细化，并且bbox将从要删除的裁剪图像中移除

Answer 1

我已经用PyCOCO为COCO数据集创建了一个用于图像分割的数据生成器，我认为我的经验可以帮助您My post on medium记录了从开始到结束的整个过程，包括使用Tensorflow Keras向图像添加增强，并在遮罩中进行相应更改，以确保保留标签（您可以在Part 2中找到）

正如我在文章的“添加增强”部分所解释的，为了确保图像和遮罩即使在随机增强（裁剪、旋转、亮度等）之后仍然保持同步，“种子”应该对这两种图像保持不变

然而，需要指出的是，我使用的是语义分割掩码，而不是对象检测（边界框）。但我相信您可以从我的代码中获得一些有用的东西，这些东西可能会帮助您找到问题的解决方案