【论文阅读】MAE阅读笔记

最新推荐文章于 2024-08-07 23:01:09 发布
最新推荐文章于 2024-08-07 23:01:09 发布
阅读量365 收藏
点赞数
分类专栏： 论文阅读 文章标签： 论文阅读 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjutkarma/article/details/130104731
版权

基于VIT上的BERT

带掩码的自编码器是一个可拓展的视觉学习器

Autoencoder：y和x来自于同一个东西

摘要

随机图片里的一些块，然后去重构被盖住的像素

encoder-decoder

使用小的数据集，用自监督的方式，表现很好，在迁移学习的任务上表现也很好

图片进来，先切成小块，把盖住的东西涂成灰色

把没有被盖住的变成一个序列放进encoder里去

然后把灰色的和编码的弄成一条，放进解码器里面，然后解码器重构

encoder的计算量比较高

如果不需要掩码，就直接用它的编码器就可以得到当前图片的特征表示

图片内容的重构效果非常惊人

结论

简单的可拓展的算法是深度学习的核心

这个工作在imagenet数据集可以学习到有标号的数据集的效果

在图片里 一个patch里不是一个语义的segment

即使是这样的情况下，mae也能做出效果很好的任务

导言

卷积神经网络中不好把mask的信息放进去，transformer可以很好的运用到了计算机视觉里了

cv和nlp的信息的密度有点不一样，cv中图片的像素是有点冗余的，可以通过局部的块得到全局的重构

decoder是一个比较大的解码器

MAE：随机遮住大量的块，去重构图片的信息

编码器只看到被遮住的块，解码器去重构被遮住的块

不仅要讲清楚是怎么做的，还要讲清楚为什么要这么做

相关工作

  • 带掩码的语言模型
  • 自编码器
  • 带掩码的编码器
  • 自监督学习

方法

MAE是一个简单的自编码器，看到了部分的数据来重构简单的原始信号

signal -> latent representation

Reconstruct the original signal from the latent representation

  • Masking

随机采样，采样少量的块，其他全部盖住

  • MAE encoding

    和vit差不多，分成patch

  • MAE decoding

    没有被盖住的块，变成浅表示

    被盖住的块

    需要加入位置信息在里面

做其他的任务的时候不需要解码器，只需要一个编码器

linear projection, MSE

实验

在imageNet这个数据集上先做自监督训练

然后做监督学习去评估

有两种训练方法：

  • End to end
  • 只调最后一层线性层

不同的掩码率的效果

不同的掩码采样策略的区别

在不同epoch上的效果

不同超参数下的结果

和前面的结果比（比如VIT）

微调的时候，调多少层是有讲究的

小松不菜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
论文阅读VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training
qq_42740834的博客
03-06 1008
为了在相对较小的数据集上实现最佳性能，通常需要对超大规模数据集上的video transformers进行预训练。在本文中，我们展示了video masked autoencoders(VideoMAE)是用于自监督视频预训练(SSVP)的数据高效学习者。我们受到最近ImageMAE[31]的启发，提出了特定的video tube masking带有极高的比例。
VideoMAE 论文阅读
scarlet witcher的博客
09-07 1543
本文提出了视频遮挡自动编码器是自监督视频预训练的高效数据学习者，受到ImageMAE的启发，提出了极高比例遮挡的video tube。极高的遮挡比例使得原本简单的任务变得更具有挑战性，从而促使在预训练过程中获得更有效的视频表示。VideoMAE继承了 masking random cubes和reconstructing the missing ones的简单管道，视频的时间维度使它们不同于图像中的遮挡。
【CV | TAL】论文浅读 - - VideoMAE V2: Scaling Video Masked Autoencoders with Dual Masking
m0_55202222的博客
10-01 1136
以上就是VideoMAE v2论文浅读学习笔记的全部内容，本文简单介绍了VideoMAE v2的研究动机和方法改进，简单分析一下VideoMAE v2骨干网络ViT的代码框架。VideoMAE v2这种掩码自编码方法应用在目前视觉大模型的训练中有广阔的前景，VideoMAE的Tube masked方式增强了网络空间建模的能力，通过学习相邻位置的cube特征来重构被掩码的cube，有效提升网络在小容量数据集上的训练效果，也减小了计算开销。
【Paper】复现VideoMAE
m0_51371693的博客
06-27 1297
VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training论文复现注意事项
MAE论文笔记
charles_zhang_的博客
04-10 2936
MAE论文笔记 Masked Autoencoders Are Scalable Vision Learners MAE模型和其他的结构的关系，可以认为是在ViT的基础上实现类似于BERT的通过完型填空获取图片的理解 标题和作者 Masked Autoencoders Are Scalable Vision Learners 其中的Autoencoders 中的auto是“自”的意思，主要是指输入(x)和输出(y)是来自于同一个变量（相同），题目设置使用Autoencoders 使用为在CV领域这中类型的
【论文阅读笔记】人群计数（Crowd Counting）| 密集群体分析
wsygxxn的博客
04-02 2511
在 PET 中，有两个要素至关重要：i）点查询四叉树的设计；ii）渐进式矩形窗口注意机制。前者自适应地生成查询点来解决密集人群预测，后者提高了效率。PET 的整体架构（图2）包括四个组件：a CNN backbone, an efficient encoder-decoder transformer, a point-query quadtree, and a prediction head。图2图 2：PET 的整体架构。我们首先使用CNN backbone来提取图像表示 F。
Empowering Low-Light Image Enhancer through Customized Learnable Priors 论文阅读笔记
read, note and comment papers
10-15 1583
ICCV2023 customized low-light image enhancement论文阅读笔记
【论文阅读笔记】LeSAM: Adapt Segment Anything Model for medical lesion segmentation
qq_46056318的博客
06-14 853
LeSAM：适用于医学病变分割的任意分割模型2024年发表于 JBHIPaper无codeSegment Anything Model，SAM是自然图像分割领域的一个基础性模型，取得了令人印象深刻的成果。然而，对于医学图像分割，它的性能仍然是次优的，特别是在描绘不规则形状和低对比度的病变时。这可以归因于医学图像和自然图像之间的显著域差距，而SAM最初是在自然图像上进行训练的。本文提出了一种专门为病变分割量身定做的SAM算法，称为LeSAM。LeSAM首先通过一个高效的自适应模块。
【论文阅读笔记】SegVol: Universal and Interactive Volumetric Medical Image Segmentation
寸先生的AI道路
12-24 992
本文思路借鉴于自然图像分割领域的**SAM**，介绍了一种名为SegVol的先进医学图像分割模型，旨在构建一种**图像分割基础模型**，这是一个面向体积医学图像分割的通用和交互式模型。SegVol的设计目的是通过处理各种解剖类别来提高医学图像分割的准确性和效率。该模型通过在9万个未标记的计算机断层扫描（**CT**）体积和6千个标记的CT体积上进行训练，能够支持超过**200个解剖类别的分割**，**模型利用语义和空间prompts来实现**。SegVol通过使用轻量级架构实现高效率，采用**“缩小-放大”
科技英语阅读理解35篇
06-18
1. Mae Jemison：这可能涉及到美国首位非裔女性宇航员Mae Jemison的故事，讨论她在航天领域的贡献和经历。 2. Can a Computer Think? 这篇文章探讨了人工智能和机器思维的可能性，分析计算机是否能够真正地思考。 ...
MAE论文分享，MAE：Masked Autoencoders Are Scalable Vision Learners
04-18
**MAE论文分享：Masked Autoencoders Are Scalable Vision Learners** 在计算机视觉（CV）领域，Transformer架构的应用已经成为一种趋势，从最初的自然语言处理（NLP）领域成功跨越到图像处理。这篇论文“MAE：...
mae1-e
04-02
介绍了关于mae1-e的详细说明，提供其它知识的技术资料的下载。
python之MSE、MAE、RMSE的使用
09-17
在机器学习和统计建模中，评估模型性能是非常重要的步骤，而MSE（均方误差）、MAE（平均绝对误差）和RMSE（均方根误差）是衡量预测模型精度的常见指标。这些指标用于量化实际值（target）与预测值（prediction）之间...
matlab计算评价指标MAE
10-29
matlab计算评价指标GetMAE
【实时建图】MapTR（1）------ 论文详解
m0_51579041的博客
08-06 137
MapTR论文解读
论文笔记: 视频关键帧抽取相关工作
有问题请直接说问题就好
08-06 855
我们主要来看一篇2020年的综述文章Keyframe Extraction Techniques: A Review（https://elektrika.utm.my/index.php/ELEKTRIKA_Journal/article/download/221/136），该工作中系统总结了视频关键帧抽取部分的常用流程和方法。随着最近Sora文生视频的火热，视频相关的数据获得逐渐变得重要起来。这也就涉及到提取视频关键帧的问题。而有对应关键帧的视频数据集则少之又少。: 提取得到的keyframes数目。
论文阅读报告: 在时间双向图上查询基于时间的的密集子图 | ICDE 2024
最新发布
m0_62361730的博客
08-07 1329
本文提出了一个新的模型（α, β, T）-core，用于在时间双向图上寻找凝聚子图。时间双向图中，不同实体之间的关系随着时间的推移而变化。为了提高查询效率，本文提出了顶点分区和时间分区的历史索引（VH-Index和TH-Index），并进一步提出了时间交集索引（TH*-Index）。实验结果表明，本文提出的模型和算法在多个真实数据集上表现出色。时间双向图（Temporal Bipartite Graph）是指在图中存在两类不同的顶点集合，并且这些顶点之间的关系（边）随着时间的推移而变化。
【论文阅读】Fourier Spectrum Discrepancies in Deep Network Generated Images
sinat_39223177的博客
08-07 118
在图像高频模式下分析，发现深度网络在最高频率下生成的图像的傅里叶模式不会像在真实图像中看到的那样衰减，而是保持近似恒定。真实图像显示出较大的衰减率和幅度范围，而深度网络生成图像显示出较小的衰减率，且幅度随生成模型的不同而变化。这些差异在更高的分辨率下更明显，但有损图像压缩算法修改了高频光谱并减小了这些差异。当高度压缩时，某些架构生成的图像在频域上与真实图像无法区分，但由VAEs等其他架构生成的图像由于其低水平的高频内容而不受影响。注：仅供学习交流。
MAE深度解析：从Transformer到高效视觉学习
"MAE论文分享，MAE：Masked Autoencoders Are Scalable Vision Learners" 在计算机视觉（CV）领域，Transformer模型逐渐崭露头角，MAE（Masked Autoencoders）便是其中的一个重要突破。MAE是受到BERT在自然语言处理...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值