focal transformer讲解博客这是微软的一篇文章，也是屠榜级别的力作，在COCO上达到了58.9%的map

置顶 zqx951102

已于 2022-03-30 19:51:09 修改

阅读量2.3k

点赞数

分类专栏：深度学习算法论文文章标签： transformer 深度学习人工智能

于 2022-03-14 11:59:38 首次发布

本文链接：https://blog.csdn.net/zqx951102/article/details/123474704

版权

深度学习同时被 3 个专栏收录

129 篇文章 27 订阅

订阅专栏

论文

43 篇文章 6 订阅

订阅专栏

算法

32 篇文章 4 订阅

订阅专栏

这是微软的一篇文章，也是屠榜级别的力作，在COCO上达到了58.9%的map
参考博客：
http://www.360doc.com/content/21/0707/22/73546223_985588571.shtml

在这里插入图片描述讲解在DEit中的原始SA 可以关注全局和局部的信息然后作者提出和距离相关的粗细粒度的注意力近距离的是细粒度包含的tokens小远距离的是粗粒度包含的区域tokens大一点。

这段话给出了创新的动机以及原始SA 高复杂度的原因
在这里插入图片描述
引出 FSA 讲解什么是粗粒度的关注也就是参与tokens的区域越多并图解 FSA的感受野的接受域比SA大一点。

这是本文最关键的一个图比较难理解一点：

在这里插入图片描述
三个定义

这个图信息太多，很容易看晕。首先要在图上找到token、sub-window、window的概念。细线框出来的最小单位即是token，黑粗线框出来的一个格子就是一个sub-window，可以看出level 1每个sub-window就是一个token，level 2则是 2 × 2 2\times2 2×2个token，level 3 则是 4 × 4 4\times4 4×4个token。而window即是蓝色的部分，可以看出来无论在哪个pyramid，一个window都是由 4 × 4 4\times 4 4×4个token组成

从左到右第二个图展示的是一个window的surrounding region在不同level下的分布情况。也就是说，在level 1，一个window的surrounding region为图中没有变蓝的部分，level 2为周围的8个window，level3为周围的24个window。

右边部分的图展示的是，每个level的每个sub-window都得到一个key和value，而每个token的query需要和它所有level的surrounding region的所有sub-window的key和value进行注意力。从这里可以看出来，实际上对于某个sub-window，其实同在一个window内的其它sub-window也被注意到了。

最后，你可能会有点疑惑，为什么attention compute这一小节提出的计算方法和给出的图，和上面给出的小猫的图，怎么对不上呢？确实是对不上的。小猫的图将重叠的区域去掉了。也就是说，小猫解释的是“远的粗粒度，近的细粒度”，然而看完attention compute你会发现，按feature level这种算法，近的不仅有粗粒度，也有细粒度。是的，而实际实现也是这样的，并没有在粗粒度的feature map上去掉与细粒度的feature map重叠的surrounding region，一方面这样比较简单，另一方面也提供了临近区域的feature pyramid结构，有点multi-scale的意味。
————————————————
版权声明：本文为CSDN博主「sysu_first_yasuo」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
来自博客：
https://blog.csdn.net/weixin_44326452/article/details/119734064

剩下的就是实验啥的：
参考博客：
https://blog.csdn.net/Q1u1NG/article/details/118634253

在这里插入图片描述
这篇博客图解带彩色步骤：
https://blog.csdn.net/weixin_44751294/article/details/121055664