MobileNet V2 模型总结

前面我们总结了MobileNet V1的结构和设计原理，MobileNet V2在V1的基础上进一步做了改进。他的一个Motivation是： 低维度的特征经过非线性的激活函数后会损失很多有用的信息。

可以这么理解：考虑V1的结构有DW(depth wise convolution)和PW(point wise convolution)两种不同的卷积，每一种卷积之后都会接一个batch normalization层和ReLu6()层，在PW之后低维的信息再通过ReLu6()会损失很多有价值的信息。

所以作者采用了residual connection和linear bottleneck 两种措施来缓解这个问题。V1和V2结构的区别：
V1：

• 将传统的卷积换成DW和PW相结合的形式，极大程度的减少的计算量
  

V2：

• 为了减少ReLu6()对于PW结果的压缩效应，将最后的PW换成Linear bottleneck（1*1 projection layer），只完成通道的压缩，不考虑再将结果进行激活（最后的低维信息不使用任何激活函数）；
• 将激活函数对应的层前移（expansion layer），在高维信息上进行非线性的映射；
• 引入残差结构，加快梯度的反传，加快网络的收敛。
  

参考资料：

• https://machinethink.net/blog/mobilenet-v2/
• https://github.com/jmjeon94/MobileNet-Pytorch/blob/master/MobileNetV2.py