[论文阅读]MAE：Masked Autoencoders Are Scalable Vision Learners

最新推荐文章于 2023-04-07 16:32:06 发布
最新推荐文章于 2023-04-07 16:32:06 发布
阅读量696 收藏
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyczjx/article/details/127191866
版权

阅读顺序：标题->摘要->引言->结论->相关工作->模型整体架构->实验

文章目录

标题 title

Masked Autoencoders Are Scalable Vision Learners

可拓展，模型比较大，是bert的一个cv版本

摘要 abstract

训练方式：随机遮盖输入图像的patch，并重建缺失的patch。有两个核心的设计：

  • 首先，这是一个非对称的编码-解码器架构，一个编码器只操作于patch的可见子集（没有掩码标记），以及一个轻量级解码器，从潜在表示和掩码标记重构原始图像。

  • 其次，发现掩盖高比例的输入图像，例如75%，有助于训练。

结合这两种设计能够帮助有效地训练大型模型：加速训练（3×或更多）并提高准确性。这种可扩展方法允许学习能够很好地推广的高容量模型：例如，在只使用ImageNet-1K数据的方法中，一个普通的ViT-Huge模型达到了最好的精度（87.8%）。在下游任务中的转移性能优于监督预训练，并表现出良好的缩放行为。

引言 introduction

什么使得掩码自编码器在cv和NLP领域不同？

  • 将mask tokens和位置编码插入到卷积网络中不易，但是随着ViT的引入，这一gap得到了解决
  • 语言和视觉的信息密度：预测一个句子中缺失的单词复杂，但是图像含有大量空间冗余的信息，甚至一个缺失的patch可以从相邻的patch中恢复，为了解决这个gap并引导学习有用特征，采用屏蔽大量的patch这一简单的策略
  • decoder：cv中重建的是像素，语义级别低；NLP中预测包含丰富语义信息的缺失单词，在bert中解码器可以是一个简单的MLP

MAE可以学习非常高容量的模型，并泛化得很好。通过MAE预训练，我们可以在ImageNet-1K上训练像ViT-Large/-Huge这样的数据饥饿模型，从而提高泛化性能。使用一个普通的ViT-Huge模型，当我们在ImageNet-1K上进行fintune时，达到了87.8%的精度。这优于之前所有只使用ImageNet-1K数据的结果。

此外，还评估了迁移学习的目标检测，实例分割，和语义分割。在这些任务中，我们的预训练比有监督的预训练取得了更好的结果。

结论 conclusion

在自然语言处理中，简单的自监督学习方法可以从指数尺度模型中获益。在这项研究中发现，一个类似于NLP的简单自监督方法提供了可伸缩的优势。

随机删除patch而不是对象实体，从MAE可以重建出复杂的结果表明他已经学到了许多语义信息，因此可以应用于下游任务。

在NLP领域自监督学习很火，但是在cv领域，有标号的预训练是主流，MAE在ImageNet数据集上，通过自编码器学习就可以媲美有标号的结果。

相关工作 related work

  • Masked language modeling and its autoregressive counterparts如BERT、GPT这些预训练好的representation可以很好地应用到各种下游任务
  • Autoencoding自动编码是学习表示法的一种经典方法。它有一个编码器，将输入映射到潜在表示，和一个重构输入的解码器。例如，PCA和k-means是自动编码器。去噪自动编码器（DAE）也是一类自动编码器
  • Masked image encoding屏蔽图像编码方法从被屏蔽破坏的图像中学习表示。DAE的开创性工作将掩蔽作为DAE中的一种噪声类型。context encoder使用卷积网络来绘制大的缺失区域。由于NLP的成功，最近的相关方法是基于transformer。iGPT 处理像素序列并预测未知像素。ViT论文研究了自监督学习中的掩码补丁预测。最近，BEiT提出预测离散tokens。

MAE模型架构 model

在这里插入图片描述

和经典自动编码器不同的是，采用一种非对称的设计，encoder只操作部分patch（没有mask tokens），以及一个轻量级的decoder，从潜在的表示和mask tokens中重构完整的信息

具体实现：参考link

在这里插入图片描述

MAE的编码器

使用一个ViT，只作用于可见块

和ViT一样，每一个patch提取出来，做一个线性投影+位置信息->token

MAE的解码器

通过一个共享的可以学习到的向量来表示each mask token，每一个被盖住的块都表示为同样一个向量，此向量可以学习

解码器是另一个transformer，需要位置信息，不然无法区分对应哪一个mask tokens

在预训练时对预测像素做一次normalization，使得像素均值为0方差为1，数值更稳定，在预测的时候，可使用预训练有标号的样本的均值方差

实验 experiments

ImageNet 的实验

在 ImageNet-1K 100万张图片 数据集上，先做自监督的预训练（不用标号，只拿图片），然后再在同样的数据集上做有标号的监督训练

在这里插入图片描述

scratch, original: 76.5, ViT 所有的内容在 ImageNet-1K上训练

scratch, our impl.: 82.5 加入 strong regularization

baseline MAE: 84.9 先使用 MAE 做预训练，再在 ImageNet 上微调 50 epoches

ablation study

在这里插入图片描述

  1. 解码器的深度

全部ft，深度和效果关系不大；对于lin 深度深一些好

  1. 解码器的宽度

每一个token表示成长为512的向量效果比较好

  1. 编码器要不要加入被盖住的masked块

不加的话精度高，计算量少，非对称的架构，精度高，性能好

  1. 重构的目标

每个像素的MSE

每个像素的MSE+normalization 均值为0方差为1效果好

PCA做一次降维

dVAE: BEiT 的做法，通过 ViT 把每一个块映射到一个离散的 token，像 BERT 一样的去做预测

  1. 如何去做数据增强

什么都不做
固定大小的裁剪
随机大小的裁剪
裁剪 + 颜色变化
MAE 对数据增强不敏感

  1. 怎么采样被盖住的块

随机采样 最简单最好
按一块块的采样 50 %
按一块块的采样 75 %
网格采样

其他实验

  1. 不同掩码率

在这里插入图片描述

  1. 训练时间

在这里插入图片描述

ViT-Large + 解码器只使用一层 Transformer 的块：84.8% 精度不错，耗时最少
带掩码的块 + 大的解码器，加速 3.7倍
ViT huge 加速也比较多

  1. 训练策略

在这里插入图片描述

不同 training epochs 的影响：在 training epochs=1600 时 MAE 还没有达到饱和。

  1. 结果对比

在这里插入图片描述

  1. partial ft

在这里插入图片描述

只训练最后模型的若干层的参数

Aurora-zjx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Masked Autoencoders Are Scalable Vision Learners (MAE)代码样例
05-27
解压后得到test文件夹，在下面的网址中下载预训练后的模型 https://dl.fbaipublicfiles.com/mae/visualize/mae_visualize_vit_large.pth 将其移动到test/demo中，进入demo文件夹，运行demo.py文件即可
MAE 论文《Masked Autoencoders Are Scalable Vision Learners》
like_jmo的博客
08-01 2013
《Masked Autoencoders Are Scalable Vision Learners》，我直呼666
何恺明一作MAE收录CVPR 2022 Oral！高达87.8%准确率！自监督领域新代表作
阿木寺的博客
04-12 3775
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：happy |转载自：极市平台导读何恺明提出一种用于计算机视觉的可扩展自监督学习方案Masked AutoEncoders。所提MAE极为简单：对输入图像进行块随机mask并对遗失像素进行重建。该方案使得所得高精度模型具有很好的泛化性能：仅需ImageNet-1K，ViT-Huge取得了8...
何恺明一作论文 MAE 已有人复现！Pytorch版
小白学视觉
10-08 882
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达仅作学术分享，不代表本公众号立场，侵权联系删除转载自：AI算法与图像处理复现代码：https://github.com/pengzhiliang/MAE-pytorch何恺明大佬新作一发出来，知乎上就有众多大佬在讨论具体链接：https://www.zhihu.com/question/498364155除了大家对何恺明大佬的工...
MAE论文笔记
charles_zhang_的博客
04-10 2894
MAE论文笔记 Masked Autoencoders Are Scalable Vision Learners MAE模型和其他的结构的关系，可以认为是在ViT的基础上实现类似于BERT的通过完型填空获取图片的理解 标题和作者 Masked Autoencoders Are Scalable Vision Learners 其中的Autoencoders 中的auto是“自”的意思，主要是指输入(x)和输出(y)是来自于同一个变量（相同），题目设置使用Autoencoders 使用为在CV领域这中类型的
何恺明一作最新工作！MAE：简单实用的自监督学习方案，高达87.8%准确率！仅用ImageNet-1K...
阿木寺的博客
11-13 1864
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：happy |转载自：极市平台导读何恺明提出一种用于计算机视觉的可扩展自监督学习方案Masked Aut...
MAE论文分享，MAE：Masked Autoencoders Are Scalable Vision Learners
04-18
MAE论文阅读汇报ppt，组会可参考
Masked Autoencoders Are Scalable Vision Learners.pdf
12-31
论文:Masked Autoencoders Are Scalable Vision Learners
Masked Autoencoders
最新发布
08-20
masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的...
Mae:2015年缅甸大选应用程序的源代码
04-28
buildConfigField MAE_KEY buildConfigField MAE_SECRET 这些是访问我们的API所必需的，但是您无法获得它。 因此，您实际上将无法查看应用程序内的数据。 开源的目的仅仅是发布我们的源代码以供参考。 ...
读论文——MAE（CV小白带读2021何恺明新作）
y1040468929的博客
12-04 4054
ResNet作者，2021年新作，预定顶会？
MAE论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
02-11 2854
文章目录创新点算法原理MaskingMAE encoderMAE decoder重构目标实验Baseline: ViT-Large.消融实验Mask token自监督方法比较迁移至目标检测任务及语义分割任务结论 论文:《Masked Autoencoders Are Scalable Vision Learners》 代码:https://github.com/facebookresearch/mae 创新点 本文说明掩码自编码器（MAE）在无监督视觉领域应用可行性； MAE有两个重要设计： 1、非对称编、
MAE 论文逐段精读【论文精读】（深度学习论文篇）
qq_42014059的博客
12-22 5169
源于沐神：MAE 论文逐段精读【论文精读】 (bilibili.com) MAE 2021.11.11提交 arxiv 知乎 百万 view; Reddit or Twitter 讨论不多 MAE 很新 --> 如何在读比较新的文章 获取一些新的研究思路？ 和之前精读论文的关系？ Transformer 一个纯基于注意力机制的编码器和解码器 表现比 RNN 架构好，在机器翻译任务 BERT 使用 一个 Transfor...
「Masked Autoencoders」MAE算法相关及后续工作整理
weixin_43745234的博客
04-07 1362
(MAE, Kaiming He et al.)由于其从丰富的未标记数据中学习有用表示的能力而重新引起了人们的兴趣。直到最近，MAE及其后续工作已经推进了最先进的技术，并在研究(特别是视觉研究)中提供了有价值的见解。在这里，列出了MAE之后或同时进行的几项后续工作，以启发未来的研究。
MAE同期工作，MSRA新作SimMiM：掩码图像建模，赶在内卷前的新方向！
wqthaha的专栏
06-06 874
SimMiM，遮挡图像建模有一篇大作，MAE同期作品，CVPR2022被接收文章。
带掩码的自编码器MAE在各领域中的应用总结
deephub
09-09 4443
NLP，图像，视频，多模态，设置时间序列和图机器学习中都出现了MAE的身影
[MAE]Masked Autoencoders掩膜自编码器
luemeon的博客
06-20 4015
目录非对称的编码-解码架构：方法 流程编码器解码器Partial Fine-tuning随机遮盖输入图片的子块，重建丢失像素由MAE预训练的模型具有很好的泛化性能编码器的输入为没有被mask的子块；解码器为轻量级（解码器仅在图像重建的预训练中起作用，因此解码器设计可独立于编码器，且灵活和轻量级），输入为编码器的输入和被mask部分的位置信息，输出为待重建的丢失像素的值。与经典自编码器不同之处在于：采用了非对称设计，使编码器仅依赖于 部分观测信息 (无需掩码token信息，BERT需要)，轻量解码器则直接与
Masked AutoEncoders（MAE) Top-1准确率87.8%
m0_63642362的博客
12-04 1267
一种可扩展的计算机视觉自监督学习方法：MAE（masked autoencoders），Paddle版。
一文解读Masked Autoencoder(MAE)
热门推荐
abbcdc的博客
04-02 1万+
如果说Vision Transformer是Transformer在CV领域的拓展，那么Masked Autoencoder就是BERT在CV领域的拓展。MAE使用类似于BERT的掩码机制，从图片中随机抹去一些像素，并让模型通过已知像素去构建未知像素，从而迫使模型学习图像中的特征。实验证明：MAE具有很好的像素重构能力。
在图像显著性分割中MAE: 0.15281
05-10
MAE是Mean Absolute Error的缩写，表示平均绝对误差。在图像显著性分割中，MAE指的是模型预测的显著性分割图与真实显著性分割图之间的平均绝对误差。这个数值越小，说明模型的预测结果与真实结果越接近，模型的效果越好。 所以，如果你的图像显著性分割模型的MAE为0.15281，说明模型的平均绝对误差比较小，模型的预测结果与真实结果比较接近，可以认为模型的效果比较好。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值