语义分割--Mix-and-Match Tuning for Self-Supervised Semantic Segmentation

最新推荐文章于 2024-06-27 15:28:24 发布
最新推荐文章于 2024-06-27 15:28:24 发布
阅读量2.2k 收藏 3
点赞数
分类专栏： 语义分割 语义分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangjunhit/article/details/78782895
版权

Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
AAAI Conference on Artificial Intelligence (AAAI) 2018
http://mmlab.ie.cuhk.edu.hk/projects/M&M/
https://github.com/XiaohangZhan/mix-and-match/

这里简要说一下本文的大致思想思路，不太关注细节问题。

基于深度卷积网络的语义分割通常需要大量的标记数据作为训练样本如 ImageNet and MS COCO 用于网络的预训练，在预训练的基础上，再通过少量标记的目标数据（通常几千张）对模型进行微调得到最终的分割网络。为了降低人工标记的工作量，最近提出了一种自监督语义分割方法 self-supervised semantic segmentation，主要实现 pre-train a network without any human-provided labels。 这个方法的关键在于设计一个代理任务 proxy task (如 image colorization)，通过这个代理任务，我们可以在未标记的数据上设计一个 discriminative loss，由于代理任务缺乏 critical supervision signals，所以不能针对目标图像分割任务生成 discriminative representation，所以 基于 self-supervision 方法的性能 和 supervised pre-training 相比较，仍有较大差距。为了克服 这个性能上的差距，我们提出在 self-supervision pipeline 里嵌入一个 ‘mix-and-match’ (M&M) tuning stage 来提升网络的性能。

这里写图片描述
这里写图片描述

Mix-and-Match Tuning
这里写图片描述

1）首先通过 self-supervised proxy task 在未标记的数据上对 CNN 网络进行预训练，得到CNN模型参数的初始化。

2）有了这个初始网络，我们在 target task data 对图像采取图像块，去除严重重叠的图像块，根据标记的图像真值提取图像块对应的 unique class labels ，将这些图像块全部混合在一起。
a large number of image patches with various spatial sizes are randomly sampled from a batch of images. Heavily overlapped patches are discarded. These patches are represented by using the features extracted from the CNN pre-trained in the stage of Fig. 2(a), and assigned with unique class labels based on the corresponding label map. The patches across all images are mixed to decouple any intra-image dependency so as to reflect the diverse and rich target distribution.

3）利用上面的初始网络对这些图像块进行相似性分析，这里使用 一个 class-wised connected graph，将每个图像块看作一个节点，属于同一类的图像块之间的权重比较大，不同类的图像块之间的权重比较小，因为我们有每个图像块的 类别标签信息，所以这是有监督学习的。通过这个学习我们可以让网络能够学习到图像块包含的类别信息
Our next goal is to exploit the patches to generate stable gradients for tuning the network. This is possible since patches are of different classes, and such relation can be employed to form a massive number of triplets
这里写图片描述

4） 在目标数据上利用标记的分割数据进行微调
fine-tune the CNN to the semantic segmentation task

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

我的博客即将搬运同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan

O天涯海阁O
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
02-08
作者：Xiaohang Zhan,Ziwei Liu,Ping Luo,Xiaoou Tang,Chen Change Loy 摘要：Deep convolutional networks for semantic image segmentation typically require large-scale labeled data, e.g. ImageNet and MS COCO, for network pre-training. To reduce annotation efforts, self-supervised semantic segmentation is recently proposed to pre-train a network without any human-provided labels. The key of this new form of learning is to design a proxy task (e.g. image colorization), from which a discriminative loss can be formulated on unlabeled data. Many proxy tasks, however, lack the critical supervision signals that could induce discriminative representation for the target image segmentation task. Thus self-supervision's performance is still far from that of supervised pre-training. In this study, we overcome this limitation by incorporating a "mix-and-match" (M&M) tuning stage in the self-supervision pipeline. The proposed approach is readily pluggable to many self-supervision methods and does not use more annotated samples than the original process. Yet, it is capable of boosting the performance of target image segmentation task to surpass fully-supervised pre-trained counterpart. The improvement is made possible by better harnessing the limited pixel-wise annotations in the target dataset. Specifically, we first introduce the "mix" stage, which sparsely samples and mixes patches from the target set to reflect rich and diverse local patch statistics of target images. A "match" stage then forms a class-wise connected graph, which can be used to derive a strong triplet-based discriminative loss for fine-tuning the network. Our paradigm follows the standard practice in existing self-supervised studies and no extra data or label is required. With the proposed M&M approach, for the first time, a self-supervision method can achieve comparable or even better performance compared to its ImageNet pre-trained counterpart on both PASCAL VOC2012 dataset and CityScapes dataset.
self-supervised-semantic-segmentation
03-27
SAR到光学转码的Pol-SAR图像语义分割的自我监督学习 在信息与通信工程硕士论文期间开发的框架。 工作介绍。 正在修订中，有可能发表。 很快将提供文档。 论文摘要： 在遥感领域，在过去的几十年中，数据采集过程得到了很大的发展。 每年都会部署许多新技术，例如传感器，卫星和太空探索任务。 这种探索未知的努力产生了很多有价值的数据。 如果将这些信息量存储在硬盘驱动器上，则可能成为负债而不是资产。 由于这些原因，利用收集的数据至关重要。 这就是为什么自动数据分析成为科学界的一个热门话题的动机。 本文的目的是针对极化合成Kong径雷达（Pol-SAR）图像的语义分割。 自动解释图像的最新技术称为人工神经网络。 这些技术经过算法训练，可以通过示例执行任务学习。 这意味着，训练此类算法最重要的要求是数据注释。 注释是包含数据解释的其他手工信息。 使用注释数据训练的算法在监督下得到解决。 相对于Po
【最新综述】基于伪标签的半监督语义分割
最新发布
qq_43583311的博客
06-27 1179
语义分割是计算机视觉领域的一个重要而热门的研究领域，其重点是根据图像中像素的语义对其进行分类。然而，有监督的深度学习需要大量数据来训练模型，而逐个像素标记图像的过程耗时费力。本综述旨在首次全面、有序地概述半监督语义分割领域中伪标签方法的最新研究成果，我们从不同角度对其进行了分类，并介绍了针对特定应用领域的具体方法。此外，我们还探讨了伪标签技术在医疗和遥感图像分割中的应用。最后，我们还针对现有挑战提出了一些可行的未来研究方向。
supervised——＞self-supervised
weixin_41807182的博客
03-02 453
在CV中，以数据与神经网络为基础，我们通常以supervised的方式与unsupervised的方式来进行网络的训练，这些行为的目的都是为了想要使学到的网络能够具有较好的特征表示能力，以进行如分类、目标检测、语义分割等。这两种方式的主要异同在于数据是否有无label。 Supervised： 以简单的分类任务为例： 现有不同的猫的数据集：n张，标签均以1表示；不同的狗的数据集：n张，标签均以0表示； 以supervised的方式进行训练，将这些样例输入网络模型中，通过数据与标签构建损失，以进行梯度反传更新
2020CVPR:Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
THE XING
04-13 4546
[2020 CVPR (Oral)] Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 目录
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation
qq_49230659的博客
07-28 447
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation摘要1. Introduction for Weakly-Supervised Semantic Segmentation) 论文地址 摘要 本文通过移除噪音来提升mapping function的准确性。本文提出self-supervised difference detection模块，通过预测mapping前后的分割掩码来减少noise。 1.
JiaoBen.rar_BP_pid_self-tuning pid_在线神经网络
09-24
标题中的“JiaoBen.rar_BP_pid_self-tuning pid_在线神经网络”暗示了这是一个关于使用MATLAB进行PID控制器自我调整的项目，其中结合了BP神经网络的在线学习算法。在这个项目中，开发者或研究者可能旨在创建一个智能...
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning是一种新兴的微调方法，它针对预训练语言模型（LLM）进行优化，以适应各种自然语言处理（NLP）任务。这一技术在人工智能生成内容（AIGC）时代尤其受到关注，因为超大规模模型如GPT-3等正逐渐成为对话式...
微调fine-tuning.pdf
06-14
微调（Fine-Tuning）是深度学习领域中的一个重要概念，特别是在自然语言处理（NLP）中，如GPT（Generative Pre-trained Transformer）系列模型。GPT是一种基于Transformer架构的预训练语言模型，通过在大规模无标注...
AT-MAC Adaptive MAC-frame payload tuning for reliable communication
12-21
In this paper, we propose an adaptive MAC-frame payload tuning mechanism for wireless body area networks (WBANs) to maximize the probability of successful packet delivery or reliability.
自监督论文阅读笔记 Self-Supervised Visual Representation Learning with Semantic Grouping
YoooooL_的博客
06-27 620
本文解决了从 无标签的 以场景为中心的数据中 学习视觉表示的问题。现有的工作已经证明了在以场景为中心的数据中 利用潜在的复杂结构的潜力；尽管如此，他们通常依赖手工制作的目标先验或特定的前置任务来建立学习框架，这可能会损害泛化性。相反，本文提出从数据驱动的语义槽进行对比学习，即SlotCon，用于联合语义分组和表征学习。语义分组是通过将像素分配给一组可学习的原型来执行的，这些原型可以通过attentive pooling 注意力池化 特征来适应每个样本，并形成新的槽。基于所学习的数据相关槽，对比目标被用于表示
《Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation》笔记
qq_24548569的博客
11-05 2134
Intorduction 该论文讲述如何用弱监督的方法训练语义分割器。弱监督方法没有强监督信息，比如ground truth。在这篇论文里，语义分割的样本标签只有图片的分类类别。已经有许多方法能够从分类信息中生成语义分割的mask。论文在这些工作的基础上，对生成的语义分割的mask调整成更加准确的mask。 输入的是粗糙的mask，输出是精细的mask的函数叫做mapping function。有...
阅读笔记：Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
02-01 2238
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 基于等变注意力机制的弱监督语义分割 论文来源：https://arxiv.org/abs/2004.04581v1 源码：https://github.com/YudeWang/SEAM 1概述 语义分割是计算机视觉领域一个基础性任务。它通过预测图像的像素级分类结果，以形成图像语义分割的mask，从而...
谈一谈深度学习之semantic Segmentation
weixin_30729609的博客
01-24 183
　　上一次发博客已经是9月份的事了....这段时间公司的事实在是多，有写博客的时间都拿去看paper了..正好春节回来写点东西，也正好对这段时间做一个总结。 　　首先当然还是好好说点这段时间的主要工作：语义分割。semantic segmentation 应该是DL这几年快速发展的最重要的领域之一了，但可惜的事，在这方面大家走的并不是很远，还是有很多值得改进的地方，这当然是个很好的事情，特别是我...
自监督学习(Self-Supervised Learning)多篇论文解读（上）
吴建明wujianming_110117
05-30 3198
自监督学习(Self-Supervised Learning)多篇论文解读（上） 前言 Supervised deep learning由于需要大量标注信息，同时之前大量的研究已经解决了许多问题。所以近期大家的研究关注点逐渐转向了Unsupervised learning，许多顶会包括ICML, NeurIPS, CVPR, ICCV相继出现一些不错的paper和研究工作。 这里主要关注Unsupervised learning一类特定的方法：Self-supervised learning（自监督学习）。
GitHub 3.6k Satr自监督学习(Self-Supervised Learning)资源你值得拥有！
DrugAI
04-12 4823
自我监督学习已成为AI社区中令人兴奋的方向。 Jitendra Malik: "Supervision is the opium of the AI researcher" Alyosha Efros: "The AI revolution will not be supervised" Yann LeCun: "self-supervised learning is the cake, supervised learning is the icing on the cake, reinforceme
语义分割新SOTA：80.5mIoU+62.8FPS! 华科与美团联合提出单分支推理分割架构SCTNet，已开源！
聚焦底层视觉处理，对相关基础AI技术持续学习
02-25 1239
本文首发于最新的实时语义分割方法通常。然而，。为了消除这一困境，。SCTNet在保留轻量级单分支CNN高效性的同时，还拥有语义分支的丰富语义表示。考虑到transformer提取长距离上下文的卓越能力，SCTNet将transformer作为仅用于训练的语义分支。。在推理过程中，只需要部署单分支CNN。我们在Cityscapes,ADE20K和COCO-Stuff-10K上进行了广泛的实验，结果表明，我们的方法达到了新的最先进水平。
自监督学习论文、代码汇总
如果想成为中心，那么就到中心去吧。
07-06 5592
无监督模型预训练
半监督语义分割论文学习记录
Vae_fans的博客
02-22 1589
半监督语义分割论文学习
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值