论文亮点
- 倒残差结构
- 线性颈部
网络详解
DW结构中的卷积核容易费掉,即卷积核参数大部分为0
MobileNet v2网络是由谷歌团队在2018年提出的,相比较于v1网络,准确率更高,模型更小。
残差结构与倒残差结构
对于残差结构首先通过一个11的卷积进行降维,再经过一个33的卷积,然后再通过一个11的结构进行升维。利用的激活函数是ReLU,形成一个两头大中间小的结构。
倒残差结构是先通过一个11的卷积进行升维,经过一个33的DW卷积,最后通过一个11的卷积进行降维。利用的激活函数是RELU6,形成一个两头小,中间大的残差结构。
RELU6激活函数大于6时,所有的值设置为6。
网络的最后一层的激活函数用的是线性激活函数,因为RELU激活函数对低维特征信息造成很大的损失,对于高维的函数损失会小一点,因为倒残差结构是一个两头小中间大的结构,输出的维度小(输出低维特征结构),所以应用线性的激活函数,会降低损失。
MobileNet网络
下图用的是线性激活,表格中,DW卷积核,的输入和输出特征矩阵的深度不发生变化,步距为s,所以高和宽变为原来的1/s
对于倒残差结构中捷径分支来说,当stride=1时,存在捷径分支,并且输入和输出的特征矩阵的shape相同时,才有shortcut连接;当stride=2时,是不存在捷径分支的