详解DETR和Transformer

最新推荐文章于 2024-08-05 15:47:47 发布
最新推荐文章于 2024-08-05 15:47:47 发布
阅读量4.4k 收藏 16
点赞数
分类专栏： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuziyu_edward/article/details/111152793
版权
本文探讨Transformer如何从NLP领域跨越到CV领域，应用于端到端目标检测和图像分类。介绍了Transformer的模型结构，重点讲解了DETR和Deformable-DETR的改进，以及相关论文列表。
摘要由CSDN通过智能技术生成

Transformer在视觉领域的应用

前言

在机器翻译， NLP领域， 基于attention机制的transformer模型取得了很好的结果， 目前有许多工作把Transformer用到CV领域， 实现端到端的目标检测和图片分类。 在这篇博客中， 我们会从Attention机制开始回顾， 之后解释Transformer的结构， 最后讲解三篇把transformer应用到计算机视觉任务的模型。

Attention机制

Attention机制起源于自然语言处理中的seq2seq模型， 这个模型是一个RNN的结构， 输入一个句子， 输出机器翻译后的句子， 或者是这个句子的下一段话。

image-20201214105209842

对于这种模型而言， 很大的一个问题就是每一层传给下一层的向量长度是固定的， 很难用固定长度的向量表达前面的全部信息， 因此在句子很长的时候，模型效果不是很好。

比如

image-20201214105504305

这个时候应该回答That’s why I like apple, 但是因为中间插入了N个词， 信息太多了， 模型忘记了前面的apple。

解决这个问题的办法就是attention</

最低0.47元/天 解锁文章
zhuziyu_edward
关注
专栏目录
Transformer-Encoder & Decoder细节详解（以DETR为例）
认真努力，做一只会飞的毛毛虫。
01-08 9666
由于很多知识网上都可以查到，大的篇幅不会讲Self Attention，本节将围绕以下细节作以分析：Add操作及目的、Norm操作及目的、不用Norm可不可以、为什么将BN不用于transformer任务、Feed Forward操作目的。 Encoder分解之Add & Norm Add操作：Add在Encoder中是一种残差连接，指X+ Multi-Head Self-Attention(X) 和 X+ Feed Forward(X)。其ResNet 所用的是相同结构。为了能够相...
【详细解读DETR，基于transformer的目标检测网络】DETR： End-to-End Object Detection with Transformers
热门推荐
m0_48086806的博客
08-08 2万+
【详细解读DETR，基于transformer的目标检测网络】DETR： End-to-End Object Detection with Transformers
detr和transformer的区别
m0_38043555的博客
07-27 1024
detr和transformer的区别 简而言之，就是detr的decoder端没有严格的时序关系，就是可以并行的解码，对于N=100个object query embedding，直接利用self-attention解码即可，在训练时，也不需要加上mask attention，就是像输入一样即可。 ...
Transformer学习之DETR
最新发布
超爱吃小蛋糕的66的博客
08-05 1096
首次将Transformer拓展到目标检测领域中，DETR抛弃了几乎所有的前处理和后处理操作，不需要进行设计锚框来提供参考，或者利用非极大值（NMS）抑制来筛除多余的框，使模型做到了真正的End-to-End检测，即对于输入的任意图像统一输出N个带有类别和置信度的Box结果。沐神论文精读搞懂DEtection TRanformer(DETR)详细解读DETRTransformer中的position encoding。
transformer系列——detr详解
qq_52053775的博客
08-12 1510
先来个CNN得到各Patch作为输入，再使用transformer做编码和解码编码方式跟VIT基本一样，重在在解码，Detr假设一张图片中最多有100个物体，直接预测100个坐标框。
DETR个人学习笔记（二）之Transformer架构概述
weixin_44303979的博客
05-13 540
下面来了解Transformer的原理。 首先我们来回顾一下RNN，RNN的encoder做编码的时候对于输入的句子需要一个个的处理。在左边的部分可以看到，在处理句子的时候，我们需要一个词一个词的将词语输入RNN。RNN有梯度消失的问题（vanishing gradient problems）。对于Transformer encoder，它可以把整个句子同时输入编码器，也就是把整个句子并行的处理。使得每个token可以关注到别的token，而不仅是关注到自身。这里的token是指把句子分割成词，或者分割成词
详细理解（学习笔记） | DETR（整合了Transformer的目标检测框架） DETR入门解读以及Transformer的实操实现
qq_53250079的博客
11-04 1万+
DETR的学习以及Transformer实操 DETR，全称 DEtection TRansformer，是Facebook提出的基于Transformer的端到端目标检测网络，发表于ECCV2020。链接链接DETR 端到端目标检测网络模型，是第一个将成功整合为检测pipline中心构建块的目标检测框架模型。基于Transformers的端到端目标检测，没有NMS后处理步骤、真正的实现不利用anchor，且其与Faster RCNN相比，超越了后者。
基于Transformer的detr目标检测算法.pdf
02-08
### 基于Transformer的DETR目标检测算法详解 #### 一、概述 近年来，目标检测作为计算机视觉领域的核心技术之一，在自动驾驶、安防监控、无人机应用等多个方面发挥了重要作用。传统的目标检测算法如Faster R-CNN、...
TensorRT部署DETR项目工程
07-04
**TensorRT部署DETR项目详解** DETR（DEtection TRansformer）是由Facebook AI Research团队提出的一种基于Transformer架构的端到端目标检测框架。它在目标检测领域引入了Transformer，打破了以往CNN主导的目标检测...
详解RT-DETR网络结构/数据集获取/环境搭建/训练/推理/验证/导出/部署
Snu77的博客
11-27 2万+
本文给大家带来是利用RT-DETR模训练自己的数据集，RT-DETR是一种新提出的目标检测模型，它利用的自注意力机制来处理图像数据。不同于YOLO通过连续的卷积层直接对图像区域进行分析，RT-DETR采用Transformer架构中的自注意力机制，这允许模型更有效地理解图像中不同部分之间的关系。这种方法使得RT-DETR在处理图像中的复杂场景和多对象环境时，能够展现出更高的准确性和效率。此外，RT-DETR在保持高精度的同时，也针对实时处理进行了优化，使其适合需要快速响应的应用场景。
学习总结——注意力机制(transformer、DETR)
summer_xm的博客
04-05 1074
将Ci送入softmax函数中，得到概率Pi，将Pi与Vi相乘再相加得到VT，这个VT是Query的Value，这样就将数据库中的不同答案Value赋予了不同的权重，与数据库中问题Key相似度越高，其答案的重要程度越高，更可能是新问题Query对应的答案。我们知道图片可以通过提取特征进行分类、目标检测等后续操作，拿最简单的图片分类来说，可以将图片分类成猫、狗等，但图片中可能含有背景或者其他杂物，也就是说，不是所有的像素点都对识别出目标物有用，那图片中的哪些像素点是对于识别出目标物是重要的呢？
5.10.3 使用 Transformer 进行端到端对象检测（DETR）
qq_47896523的博客
05-11 1472
对象检测的目标是预测每个感兴趣对象的一组边界框和类别标签。在计算机图形学和图像处理中，锚点（Anchor Point）是一个特定的位置，通常用于描述图像中的特征点或区域。它可以是单个像素点，也可以是一个更复杂的区域如矩形或椭圆。锚点的主要作用是为图像处理和计算机视觉任务提供一个参考点，以便更准确地描述和定位图像中的特征。在目标检测任务中，锚点用于预测目标物体的位置和大小；在图像匹配任务中，它帮助找到图像中的相似区域。
【Transformer】detr梳理
胡侃有料的博客
04-18 546
detr。
DETR（DEtection TRansformer）要点总结
上个大学哪有不疯的？硬撑罢了！
01-09 5614
DETR翻译过来就是检测transformer，是Detection Transformers的缩写。这是一个将2017年大火的transformer结构首次引入目标检测领域的模型，是transformer模型步入目标检测领域的开山之作。利用transformer结构的自注意力机制为各个目标编码，依靠其并行性，DETR构造了一个端到端的检测模型，并且避免了以往模型中各种类型的冗余操作，让目标检测问题变得更加简单。
[Transformer] DETR: End-to-End Object Detection with Transformers
Cherry的笔记本
02-25 1007
ECCV2020 Facebook AI 第一个用Transformer进行目标检测的网络 论文： https://arxiv.org/abs/2005.12872 代码： https://github.com/facebookresearch/detr 搭建参考： 【CODE】Facebook 最新DETR（基于Transformer）目标检测算法实战_哔哩哔哩_bilibili 1 简介 DETR通过将常见的CNN与Transformer架构相结合，不仅做到了并行化，不需要..
【Transformer学习笔记】DETR：将transformer引入目标检测领域
sjflsahfisaojfsa的博客
12-15 3388
之前我们有讲过如何将transformer引入CV领域，想去看看的同学可以点击这里： 【Transformer学习笔记】VIT解析 VIT论文中最后的实验解决的是一个多分类任务。那么transformer的结构能不能用来解决目前cv领域大热的目标检测问题呢？ DETR，DEtecion TRsformer就是为了回答这个问题而诞生的。而且它的做法并不是只是直接用transformer结构将传统目标检测网络中的backbone给替换了，它还提出了一种基于set prediction的目标检测新思路。 原论文地
目标检测2.0新范式！DETR：Transformer目标检测的开山之作
weixin_43980550的博客
10-01 2633
DETR提出一个简洁的pipeline，无需先验知识、手工操作，通过transformer编解码结构和二分图匹配优化，直接得到目标检测框和类别。开启transformer目标检测新范式！
detr和transformer
09-15
DETR是一种基于Transformer的端到端目标检测模型。它结合了Transformer的自注意力机制和CNN的特征提取能力，通过将输入图像转换为一组特征向量，并使用Transformer进行特征加权，以实现目标检测任务。 与传统的基于区域提议的目标检测方法不同，DETR直接从整个图像中预测目标的位置和类别，避免了繁琐的候选框生成和筛选过程。DETR的整体架构由一个Transformer编码器和一个解码器组成。编码器将图像特征进行编码表示，解码器通过自注意力机制在编码器输出的特征上进行迭代操作，以逐步预测目标的位置和类别。 DETR的关键操作在forward函数中实现，其中对输入特征进行变换操作，将形状为NxCxHxW的特征张量展平为形状为HWxNxC的张量。这个操作是为了方便后续的自注意力计算。 如果你对Transformer模型的细节感兴趣，我推荐你阅读这篇博客：http://jalammar.github.io/illustrated-transformer/，它详细介绍了Transformer模型的原理和实现细节。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值