【目标检测-复制粘贴数据增强】_copy-paste数据增强如何使用-CSDN博客

本文链接：https://blog.csdn.net/zhiqingAI/article/details/136922421

本文介绍了在计算机视觉任务中，特别是目标检测、分类和分割中使用的创新数据增强技术——Copy-PasteDataAugmentation。它通过复制源图像中的对象并粘贴到其他图像中，以提高模型对物体多样性和小样本类别的识别能力。文章详细描述了原理、步骤和代码实现，以Detectron2的MaskR-CNN为例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

复制粘贴数据增强

在目标检测、分类和分割任务中，复制粘贴数据增强（Copy-Paste Data Augmentation）是一种创新的数据增广技术，它通过将训练集中的一部分物体实例复制并粘贴到其他图像的合理位置上，以生成新的训练样本。这种方法能够增加模型对不同场景下物体多样性的识别能力，并且尤其有助于提升小样本类别和边界框定位的准确性。

原理与步骤：

选择源图像和目标图像：从训练集中随机选择一个或多个包含目标对象的源图像以及一个背景图像作为目标图像。
提取目标对象：使用实例分割算法（如Mask R-CNN）从源图像中精确地分割出要复制的目标对象，并得到其像素级别的掩码。
选择粘贴位置：在目标图像上随机选择一个合法的位置来粘贴目标对象。合法位置通常是指不会导致目标与其他对象重叠过多或出现在不合理的物理空间区域的位置。
融合图像：将目标对象及其对应的像素级掩码应用到目标图像上，根据掩码将目标对象的像素值合并到目标图像上。
调整标注信息：对于目标检测任务，需要更新粘贴后的目标物体的边界框坐标；对于语义分割任务，则需合并掩码图以反映新添加的目标。
重复上述过程：为了生成更多样化的训练样本，可以多次执行上述步骤，直到达到所需的增强样本数量。

代码实现：
以下是一个简化的示例，展示如何在PyTorch环境下用自定义方式实现该方法

import numpy as np
from PIL import Image, ImageDraw

# 加载和预处理图像的方法 load_and_preprocess_image
# 读取和解析标注信息的方法 load_annotations

def copy_paste_data_augmentation(src_image_path, src_anns, target_image_path, n_copies=1):
    # 加载源图像和目标图像
    src_image = load_and_preprocess_image(src_image_path)
    target_image = load_and_preprocess_image(target_image_path)

    # 转换为PIL格式便于操作
    src_image_pil = Image.fromarray(src_image.astype(np.uint8))
    target_image_pil = Image.fromarray(target_image.astype(np