轻量化网络：SqueezeNet解析

原文： SqueezeNet:AlexNet-Level accuracy with 50X fewer parameters and <0.5MB model size

论文链接：https://arxiv.org/abs/1602.07360

开源网络结构（caffe版本）：https://github.com/DeepScale/SqueezeNet

原文链接：https://blog.csdn.net/csdnldp/article/details/78648543

SqueezeNet于2016年提出，其主要目的是在保证当时已有的模型准确度的同时减少CNN模型中的参数，主要工作为以下几个方面：

1. 提出了新的网络架构Fire Module，通过减少参数来进行模型压缩
2. 使用其他方法对提出的SqeezeNet模型进行进一步压缩
3. 对参数空间进行了探索，主要研究了压缩比和3∗33∗3卷积比例的影响

ABSTRACT
近来深层卷积网络的主要研究方向集中在提高正确率。对于相同的正确率水平，更小的CNN架构可以提供如下的优势： 
（1）在分布式训练中，与服务器通信需求更小 
（2）参数更少，从云端下载模型的数据量小 
（3）更适合在FPGA等内存受限的设备上部署。 
基于这些优点，本文提出SqeezeNet。它在ImageNet上实现了和AlexNet相同的正确率，但是只使用了1/50的参数。更进一步，使用模型压缩技术，可以将SqueezeNet压缩到0.5MB，这是AlexNet的1/510。

1 INTRODUCTION AND MOTIVATION
对于一个给定的正确率，通常可以找到多种CNN架构来实现与之相近的正确率。其中，参数数量更少的CNN架构有如下优势： 
（1）更高效的分布式训练 
服务器间的通信是分布式CNN训练的重要限制因素。对于分布式 数据并行 训练方式，通信需求和模型参数数量正相关。小模型对通信需求更低。 
（2）减小下载模型到客户端的额外开销 
比如在自动驾驶中，经常需要更新客户端模型。更小的模型可以减少通信的额外开销，使得更新更加容易。 
（3）便于FPGA和嵌入式硬件上的部署

2 RELATED WORK
2.1 MODEL COMPRESSION
常用的模型压缩技术有： 
（1）奇异值分解(singular value decomposition (SVD))1 
（2）网络剪枝（Network Pruning）2：使用网络剪枝和稀疏矩阵 
（3）深度压缩（Deep compression）3：使用网络剪枝，数字化和huffman编码 
（4）硬件加速器（hardware accelerator）4

2.2 CNN MICROARCHITECTURE
在设计深度网络架构的过程中，如果手动选择每一层的滤波器显得过于繁复。通常先构建由几个卷积层组成的小模块，再将模块堆叠形成完整的网络。定义这种模块的网络为CNN microarchitecture。

2.3 CNN MACROARCHITECTURE
与模块相对应，定义完整的网络架构为CNN macroarchitecture。在完整的网络架构中，深度是一个重要的参数。

2.4 NEURAL NETWORK DESIGN SPACE EXPLORATION
由于超参数繁多，深度神经网络具有很大的设计空间（design space）。通常进行设计空间探索的方法有： 
（1）贝叶斯优化 
（2）模拟退火 
（3）随机搜索 
（4）遗传算法

3 SQUEEZENET: PRESERVING ACCURACY WITH FEW PARAMETERS
3.1 ARCHITECTURAL DESIGN STRATEGIES
使用以下三个策略来减少SqueezeNet设计参数 
（1）使用1∗11∗1卷积代替3∗33∗3 卷积：参数减少为原来的1/9 
（2）减少输入通道数量：这一部分使用squeeze layers来实现 
（3）将欠采样操作延后，可以给卷积层提供更大的激活图：更大的激活图保留了更多的信息，可以提供更高的分类准确率 
其中，（1）和（2）可以显著减少参数数量，（3）可以在参数数量受限的情况下提高准确率。

3.2 THE FIRE MODULE
Fire Module是SqueezeNet中的基础构建模块，如下定义 Fire Module :

1、squeeze convolution layer：只使用1∗11∗1 卷积 filter，即以上提到的策略（1）
2、expand layer：使用1∗11∗1 和3∗33∗3 卷积 filter的组合
3、Fire module中使用3ge可调的超参数：s1x1s1x1（squeeze convolution layer中1∗11∗1 filter的个数）、e1x1e1x1（expand layer中1∗11∗1 filter的个数）、e3x3e3x3（expand layer中3∗33∗3 filter的个数）
4、使用Fire module的过程中，令s1x1s1x1 < e1x1e1x1 + e3x3e3x3，这样squeeze layer可以限制输入通道数量，即以上提到的策略（2）

3.3 THE SQUEEZENET ARCHITECTURE
SqueezeNet以卷积层（conv1）开始，接着使用8个Fire modules (fire2-9)，最后以卷积层（conv10）结束。每个fire module中的filter数量逐渐增加，并且在conv1, fire4, fire8, 和 conv10这几层之后使用步长为2的max-pooling，即将池化层放在相对靠后的位置，这使用了以上的策略（3）。

 

如上图，左边为原始的SqueezeNet，中间为包含simple bypass的改进版本，最右侧为使用complex bypass的改进版本。在下表中给出了更多的细节。

        因为这是一篇讲解网络压缩的文章，这里顺便提一下参数计算的方法。以上表中的fire2模块为例：maxpool1层的输出为55∗55∗9655∗55∗96，一共有96个通道。之后紧接着的Squeeze层有16个1∗1∗961∗1∗96的卷积filter，注意这里是多通道卷积，为了避免与二维卷积混淆，在卷积尺寸末尾写上了通道数。这一层的输出尺寸为55∗55∗1655∗55∗16，之后将输出分别送到expand层中的1∗1∗161∗1∗16（64个）和3∗3∗163∗3∗16（64个）进行处理，注意这里不对16个通道进行切分。为了得到大小相同的输出，对3∗3∗163∗3∗16的卷积输入进行尺寸为１的zero padding。分别得到55∗55∗6455∗55∗64和55∗55∗6455∗55∗64大小相同的两个feature map。将这两个feature map连接到一起得到55∗55∗12855∗55∗128大小的feature map。考虑到bias参数，这里的参数总数为： 
(1∗1∗96+1)∗16+(1∗1∗16+1)∗64+(3∗3∗16+1)∗64＝(1552+1088+9280)=11920
       可以看出，Squeeze层由于使用1∗11∗1卷积极大地压缩了参数数量，并且进行了降维操作，但是对应的代价是输出特征图的通道数（维数）也大大减少。之后的expand层使用不同尺寸的卷积模板来提取特征，同时将两个输出连接到一起，又将维度升高。但是3∗3∗163∗3∗16的卷积模板参数较多，远超1∗11∗1卷积的参数，对减少参数十分不利，所以作者又针对3∗3∗163∗3∗16卷积进行了剪枝操作以减少参数数量。从网络整体来看，feature map的尺寸不断减小，通道数不断增加，最后使用平均池化将输出转换成1∗1∗10001∗1∗1000完成分类任务。

3.3.1 OTHER SQUEEZENET DETAILS
以下是网络设计中的一些要点： 
（1）为了使 1∗11∗1 和 3∗33∗3 filter输出的结果又相同的尺寸，在expand modules中，给3∗33∗3 filter的原始输入添加一个像素的边界（zero-padding）。 
（2）squeeze 和 expand layers中都是用ReLU作为激活函数 
（3）在fire9 module之后，使用Dropout，比例取50% 
（4）注意到SqueezeNet中没有全连接层，这借鉴了Network in network的思想 
（5）训练过程中，初始学习率设置为0.04，，在训练过程中线性降低学习率。更多的细节参见本项目在github中的配置文件。 
（6）由于Caffee中不支持使用两个不同尺寸的filter，在expand layer中实际上是使用了两个单独的卷积层（1∗11∗1 filter 和 3∗33∗3 filter），最后将这两层的输出连接在一起，这在数值上等价于使用单层但是包含两个不同尺寸的filter。 
在github上还有SqueezeNet在其他框架下的实现：MXNet、Chainer、Keras、Torch。