一、iRMB论文
论文地址:2301.01146.pdf (arxiv.org)
二、RethinkingMobileBlock注意力结构
iRMB结构主要由两个部分组成:多分支注意力模块和倒置残差连接。多分支注意力模块用于提取图像特征,倒置残差连接用于优化模型的训练。
多分支注意力模块由多个分支组成,每个分支都有自己的注意力机制。在每个分支中,通过卷积运算和注意力机制来提取图像的不同层级的特征。具体来说,每个分支都包含一个卷积层和一个自注意力模块。卷积层用于提取低层级的图像特征,自注意力模块用于提取高层级的图像特征。
倒置残差连接用于优化模型的训练。在传统的残差连接中,通过将输入直接与输出相加来实现信息传递。而在倒置残差连接中,首先将输入通