移动端网络
传统的卷积神经网络,内存需求大、运算量大,导致无法在移动设备以及嵌入设备上运行。例如VGG网络的权重参数量有490M,ResNet152的权重大约有640M
MobileNet
网络是谷歌团队在2017年提出的,专注于移动端和嵌入设备的轻量级CNN网络,相比于传统的神经网络,在准确率小幅度降低的前提下大大减少模型的参数与运算量。相比于VGG16准确率减少0.9%,但模型的参数只有VGG1/32。
网络的亮点:
- DW 大大减少运算量和参数数量
- 增加超参的α和β
传统的卷积 - 卷积核的channel=输入特征矩阵的channel(RGB三个通道需要三个卷积核来负责)
- 输出特征矩阵的channel=卷积核的个数
DW卷积 - 卷积核channel=1 (RGB三个通道需要一个卷积核来负责)
- 输入特征矩阵channel=卷积核个数=输出特征矩阵channel
如图所示,图源自大佬
深度可分卷积
深度可分卷积是由DW和PW卷积组成的,DW卷积干刚刚上文中有介绍,对于PW卷积与传统的卷积类似,只不过卷积核的大小为11,如下图所示
对于传统卷积和深度可分离卷积,看节省的参数量大小是多少?
假设输入特征矩阵为F,通道数为M,卷积核的大小为K,输出特征矩阵的通道数为N
传统卷积的参数量为:FFMKKN
深度可分离卷积的参数量为(DW+PW):FFMKK+FFM11N
深度可分离/普通卷积=1/9
关于两个超参数
参数α:卷积核个数的倍率,控制卷积过程中卷积核的个数,α取值为1.075,0.5,0.25,α越小,参数量越小,在检测精度满足需求时,可以适当采用较小值得α
参数β:分辨率的参数,例如224244,分辨率越小,参数量越小。但是检测精度也有小幅度的下降