MobileNet v2详解

来自大佬

论文亮点

• 倒残差结构
• 线性颈部

网络详解

DW结构中的卷积核容易费掉，即卷积核参数大部分为0
MobileNet v2网络是由谷歌团队在2018年提出的，相比较于v1网络，准确率更高，模型更小。

残差结构与倒残差结构

对于残差结构首先通过一个11的卷积进行降维，再经过一个33的卷积，然后再通过一个11的结构进行升维。利用的激活函数是ReLU,形成一个两头大中间小的结构。
倒残差结构是先通过一个11的卷积进行升维，经过一个33的DW卷积，最后通过一个11的卷积进行降维。利用的激活函数是RELU6,形成一个两头小，中间大的残差结构。
RELU6激活函数大于6时，所有的值设置为6。

网络的最后一层的激活函数用的是线性激活函数，因为RELU激活函数对低维特征信息造成很大的损失，对于高维的函数损失会小一点，因为倒残差结构是一个两头小中间大的结构，输出的维度小（输出低维特征结构），所以应用线性的激活函数，会降低损失。
MobileNet网络
下图用的是线性激活，表格中，DW卷积核，的输入和输出特征矩阵的深度不发生变化，步距为s,所以高和宽变为原来的1/s
对于倒残差结构中捷径分支来说，当stride=1时，存在捷径分支，并且输入和输出的特征矩阵的shape相同时，才有shortcut连接；当stride=2时，是不存在捷径分支的