详解DETR和Transformer

Transformer在视觉领域的应用

前言

在机器翻译， NLP领域， 基于attention机制的transformer模型取得了很好的结果， 目前有许多工作把Transformer用到CV领域， 实现端到端的目标检测和图片分类。 在这篇博客中， 我们会从Attention机制开始回顾， 之后解释Transformer的结构， 最后讲解三篇把transformer应用到计算机视觉任务的模型。

Attention机制

Attention机制起源于自然语言处理中的seq2seq模型， 这个模型是一个RNN的结构， 输入一个句子， 输出机器翻译后的句子， 或者是这个句子的下一段话。

对于这种模型而言， 很大的一个问题就是每一层传给下一层的向量长度是固定的， 很难用固定长度的向量表达前面的全部信息， 因此在句子很长的时候，模型效果不是很好。

比如

这个时候应该回答That’s why I like apple, 但是因为中间插入了N个词， 信息太多了， 模型忘记了前面的apple。

解决这个问题的办法就是attention</