图像分割后的数据扩充

Question

假设我有一个小数据集。我想实现数据扩充。首先我实现了图像分割（在此之后，图像将是二值图像），然后实现了数据增强。这是个好办法吗

Answer 1

对于分割和实例分割中的图像增强，您必须不更改图像中包含的对象的位置（例如，通过操纵颜色），或者通过应用平移和旋转来修改这些位置

因此，是的，这种方法是可行的，但是您必须考虑您拥有的数据类型以及您希望实现的目标。数据扩充并不是一个到处都有好结果的现成过程

如果您有：

• 语义分割：图像的每个像素都有一行i和一列j，标记为其封闭对象。这意味着让主图像I和标签图像L以相同的大小将每个像素链接到其对象标签。在本例中，您的数据增强同时应用于I和L，给出两个转换图像的组合
• 实例分割：在这里，我们为原始图像的每个实例生成一个掩码，并将增强应用于包括原始图像在内的所有实例，然后从这些转换的掩码中获得新实例

编辑： 看看CLoDSA（分类、定位、检测和分段增强器），它可能会帮助您实现您的想法

Answer 2

如果数据集较小，则应在培训期间添加数据扩充。更改原始图像非常重要&；目标（面具）也是这样

例如，如果图像旋转90度，则其遮罩也应旋转90度。由于您使用的是Keras库，因此应该检查ImageDataGenerator是否也会更改目标图像（遮罩）以及输入。如果没有，您可以自己实现扩展。此存储库显示了如何在OpenCV中执行此操作： https://github.com/kochlisGit/random-data-augmentations