caffe中卷积的实现,参数计算,FLOPS计算

内容

1. 卷积神经网络中卷积核维度

2.caffe中卷积的实现

3. 卷积参数的计算

4. FLOPS 的计算

5.reference

---

1. 卷积神经网络中卷积核维度

一个卷积核是三维的（channel×height×width），channel 其中表示输入的维度, 每个卷积层有若干卷积核，一个卷积核输出的feature map是二维的，每层输出的feature map数量和卷积核数量相等。

以经典的AlexNet为例

输入图像是227×227×3（注1），conv1的卷积核参数是：
kernel_size: 11
stride: 4
num_output: 96
因此实际的卷积核维度是11×11×3，channel是输入的图像的第三维（如果是后面的卷积层，其卷积核的channel是与之做卷积的输入的feature map的数量），即3，做卷积的时候，是11×11×3的卷积核和输入图像里的11×11×3的块进行卷积，得到一个值，卷积的过程是在height和width上滑动，第三维上不滑动，因此得到的feature map是二维的。

下面这个动画动态展示了卷积的过程:

2.caffe中卷积的实现

使用im2col(caffe源码这里)的方法将卷积转为矩阵相乘，图如下：

 

3. 卷积参数的计算

传统卷积参数计算

对于某一个卷积层的参数parameters个数为: 

其中   表示考虑偏置

对于某一个全连接层的参数parameters个数为:

其中  表示考虑偏置, 如果上层是卷积层，就是上层的输出三维矩阵元素个数，即三个维度相乘

可分离卷积参数计算

 

图(a)代表标准卷积。假设输入特征图尺寸为，卷积核尺寸为  ，输出特征图尺寸为 ，标准卷积层的参数量为： 。不考虑偏置

图(b)代表深度卷积，图(c)代表逐点卷积，两者合起来就是深度可分离卷积。深度卷积负责滤波，尺寸为(DK,DK,1)，共M个，作用在输入的每个通道上；逐点卷积负责转换通道，尺寸为(1,1,M)，共N个，作用在深度卷积的输出特征映射上。

深度卷积参数量为 ，逐点卷积参数量为 ，所以深度可分离卷积参数量是标准卷积的 

。

分组卷积参数计算

 

 

4. FLOPS 的计算

FLOPS：全称是floating point operations per second，意指每秒浮点运算次数

对于某个卷积层，它的FLOPs数量为：，其中表示该层参数的数目, H*W表示feature map的大小.

5.reference

1.http://caffecn.cn/?/question/158

2.https://www.zhihu.com/question/28385679

3.https://blog.csdn.net/sinat_34460960/article/details/84779219

4.https://zhuanlan.zhihu.com/p/65377955