vision transformer（vit）笔记

最新推荐文章于 2024-04-20 15:24:59 发布
最新推荐文章于 2024-04-20 15:24:59 发布
阅读量513 收藏 2
点赞数
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzcc00/article/details/127803512
版权
本文深入探讨Vision Transformer（ViT）模型，从将图片转换为token序列，到多头自注意力机制、编码器和MLP Head的运用。尽管ViT在大数据集上表现出色，但在小数据集上的应用仍是个挑战。
摘要由CSDN通过智能技术生成

1.论文：AN IMAGE IS WORTH 16X16 WORDS:
TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
2.全体作者：Alexey Dosovitskiy∗,†, Lucas Beyer∗, Alexander Kolesnikov∗, Dirk Weissenborn∗,Xiaohua Zhai∗, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer,Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby∗,†

3.模型

Figure 1: Model overview. We split an image into fixed-size patches, linearly embed each of them, add position embeddings, and feed the resulting sequence of vectors to a standard Transformer encoder. In order to perform classification, we use the standard approach of adding an extra learnable “classification token” to the sequence. The illustration of the Transformer encoder was inspired by Vaswani et al. (2017)

3.1第一部分

目的：得到transformer的输入（Z0）

最低0.47元/天 解锁文章
拾十
关注
PyTorch笔记 - Vision Transformer(ViT)
Mystra
08-16 600
Transformer包含Encoder和Decoder，核心是Multi-Head Self-Attention(空间融合)，FeedForward Nerual Network(通道融合)。归纳法、演绎法，归纳偏置(Inductive Bias)，将人类的经验带入模型的设计当中。Patch + Position Embedding，先从左到右，再从上到下，拉成序列形状。Classification Token：起到Query的作用。的引入成反比，上限很高，数据量要求也很高。.........
【18】Vision Transformer：笔记总结与pytorch实现
Clichong
07-29 2737
下面借这篇blog记录一些阅读笔记，如果问题，恳请指出。 前言 paper原文：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 一开始，Transformer在Attention is all you need这篇paper中提出，解决的自然语言中的序列问题，也就是将自然语言的word变成一个sequence问题，但是有效的解决了RNN的无法并行处理的问题，并且其可以考虑全局的咨询，而self-atte.
multidim-positional-encoding:pytorch中1D，2D和3D位置编码的实现
05-04
1D，2D和3D正弦波位置编码喷灯 这是1D，2D和3D正弦位置编码的实现，能够在(batchsize, x, ch) ， (batchsize, x, y, ch)和(batchsize, x, y, z, ch) ，其中位置编码将添加到ch维度。 仅一维的位置编码就，但是，这可以将其扩展到2维和3维。 新：这也适用于以下形式的张量(batchsize, ch, x)等。对于这种类型的输入，包括单词Permute在类数目之前; 例如，对于大小为(batchsize, ch, x)一维输入，请执行PositionalEncodingPermute1D而不是PositionalEncoding1D 。 要安装，只需运行： pip install positional-encodings 具体地说，用于插入位置编码的公式如下： 1D： PE(x,2i) = sin(x/10000^(
WDK_学习笔记_区块链+ViT和Swin transformer
sunningzhzh的博客
03-20 816
文章目录摘要一、項目：Hyperledger-fabric技术的深入学习1.1 安装-2.2.0（只记录问题，其余按文档操作即可）二、使用步骤总结 摘要 一、項目：Hyperledger-fabric技术的深入学习 重要参考资料：官方开发文档 1.1 安装-2.2.0（只记录问题，其余按文档操作即可） 通过查阅资料得知，以前安装的1.2.0版本过旧，参考资料缺失严重，而2.2.0是稳定版，官方提供了中文开发文档，和现有的go-sdk适配，故选择更新 二、使用步骤 总结 ...
关于Transformer中的位置编码
一只大憨憨的博客
08-18 2040
在图像处理中，位置编码的引入与自然语言处理中的方法有所不同，但基本的原理是相似的：为模型提供空间位置信息。例如，对于一个给定的位置，其与其他位置的相对位置编码将表示它们之间的距离或关系。绝对位置编码是为序列中的每个位置分配一个固定的编码，这个编码表示该位置在整个序列中的确切位置。与位置编码不同，位置嵌入是在模型训练过程中学习的，而不是预先定义的。在某些应用中，可能需要同时使用多种方法来捕获位置信息，例如，结合绝对位置编码和相对位置编码。为图像中的每个像素或区域分配一个固定的编码，表示其在图像中的绝对位置。
Pytorch 实现position embedding位置编码(三)——DETR中的位置编码(2d的绝对位置编码)(PositionEmbeddingSine正余弦位置编码)
hxxjxw的博客
07-11 3835
Pytorch 实现position embedding位置编码(三)——DETR中的位置编码
二维位置编码 暂记
ResumeProject的博客
05-09 2344
（相对）位置编码 Stand-Alone Self-Attention in Vision Models-NIPS 2019 [网络主要结构](https://blog.csdn.net/baigalxy/article/details/93662282) [Stand-Alone Self-Attention in Vision Models](https://zhuanlan.zhihu.com/p/361259616) [paer](https://papers.nips.cc/paper/2019
机器学习笔记 - vision transformer（ViT）简述
学以致用 知行合一
06-25 1085
视觉转换器 vision_transformer（ViT） 因其令人印象深刻的准确率和计算效率而迅速成为卷积神经网络 （CNN） 在计算机视觉任务中的首选替代品。ViT模型在许多数据集和任务组合中的表现比CNN高出近4倍，从而确立了自己作为非常强大的竞争者的地位。同样，基于转换器的模型已经成为自然语言处理（NLP）的常态，ChatGPT就是一个很好的例子。自注意机制用于对文本中单词之间的依赖关系进行建模，并创建复杂的语言模型。
CV攻城狮入门VIT(vision transformer)之旅——VIT原理详解篇
2401_84412194的博客
04-20 917
​  在上一篇，我已经详细为大家介绍了NLP邻域中的，足足写了10000+字，酝酿了好多天才下笔，也写了很久，自认为写的还算是通俗全面。如若你对Transformer还没什么了解，建议你点击☞☞☞了解详情。​  其实，作为CV程序猿的我们，学习NLP邻域的Transformer更像是被迫之举，毕竟现在基于Transformer的算法在CV邻域可谓是大杀特杀。那么今天我就为大家带来将Transformer引入到视觉物体分类中的一篇文章，标题为download📥📥📥。
Transformer升级之路：二维位置的旋转式位置编码
Paper weekly
08-10 3973
©PaperWeekly 原创 ·作者|苏剑林单位|追一科技研究方向|NLP、神经网络在之前的文章 Transformer 升级之路：博采众长的旋转式位置编码中我们提出了旋转...
位置编码(四) 相对位置编码 二维位置编码 裁剪位置编码 RPE 2d-PE CPE
duoyasong5907的博客
12-04 935
RPE 2d-PE CPE
万字带你了解ChatGLM
华为云官方博客
03-13 1333
结合使用MindSpore和ChatGLM，我们可以实现更加智能和交互性的应用。
Vision Transformer（VIT）论文解读及实现
weixin_42529756的博客
07-08 3536
VIT,图片分类
V I T
Blue_Whale2020的博客
01-18 366
题目：一张图片等价于16*16大小的单词 摘要： transformer把imagenet当成小模型 摘要中提到的需要比较少的训练资源指的是 2500天TPU训练天数 Introduction transformer的使用在目前看来还没有遇到任何性能饱和的问题 在自然语言处理中，一个token代表一个单词，目前硬件所能支持的token的最长序列为几百或上前，比如BERT中使用的512，但是在视觉领域中，首先就要解决序列长度的这个问题。 解决方法，把一张图片分解成很多patch ，假设一张图片的长
VIT基础概述
gaotihong的博客
05-26 4002
四，VIT 概述 需要在的数据集上进行预训练。 Vit本质为 transformer encoder网络。 算法 Vit将图片划分为大小相同的patches，可以重叠划分，也可以不重叠划分。 每个patches都是RGB的图像，属于张量。 需要将张量拉伸为向量。 Fc对向量x进行线性变化，注意不采用relu，得到z，此处WB为参数，需要训练得到，并且所有patch共享参数。 Z不仅编码了内容表征，而且包含位置信息。如果不用位置信息，会掉点3%。 一定要
Vision Transformer细节理解
一直特立独行的猫
03-25 5522
Vision Transformer细节理解Transformer模型架构图Patch+Position EmbeddingTransformer Encoder参考文献 Transformer模型架构图 首先来看一下Transformer模型的架构图，因为Vision Transformer是Transformer模型在CV领域的应用，所以在学习ViT模型之前有必要了解一下Transformer的基础架构。关于Transformer架构的基础知识可去B站观看这个视频。 Transformer由两个部分组成
Vision Transformer（ViT）
null的专栏
02-26 4152
ViT模型将Transformer引入到图像的分类中，更准确的说是Transformer中的Encoder模块。为了能够尽可能少地对原始模型的修改，在ViT中将图像转换成一维的序列表示，以改成标准的文本形式，通过这种方式实现Transformer在CV中的应用。
ViT(Version Transformer)原始论文解读
qq_45041871的博客
01-10 4019
ViT(Version Transformer)原始论文解读，该文档标志着图像已经进入transformer预训练时代
Visiom Transformer 代码实现--ViT
qq_43894221的博客
09-29 919
ViT
Vision Transformer(ViT)
最新发布
06-24
Vision Transformer (ViT) 是一种基于Transformer架构的图像识别模型，它在计算机视觉领域引起了革命性的变化，尤其是在自然语言处理技术成功应用于视觉任务后。传统上，卷积神经网络 (CNN) 在图像识别中表现出色，但ViT 通过将整个图像划分为固定大小的 patches（小块），然后将这些patches作为序列输入到Transformer中，实现了端到端的学习，无需手动设计的特征提取器。 1. **Transformer结构**：ViT借鉴了Transformer在自然语言处理中的自注意力机制，能够捕捉全局上下文信息，这对于理解图像内容至关重要。 2. **输入表示**：每个patch被转化为一个向量，并加上位置编码，以便Transformer理解patch的相对位置。 3. **编码和解码**：ViT采用编码器-解码器架构，编码器用于学习图像特征，解码器则负责分类或回归任务。 4. **分割与嵌入**：图像被水平划分成多个非重叠的区域（如16x16），然后每个区域转换为固定维度的向量，通过线性层嵌入到Transformer的输入空间。 5. **预训练与微调**：ViT通常先在大规模无监督数据集（如ImageNet）上预训练，然后在特定的下游任务上进行微调。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值