AI：卷积神经网络CNN中全连接层产生和意义

AI：卷积神经网络CNN中全连接层产生和意义

全连接层（Fully Connected Layers，FC）在卷积神经网络中相当于分类器的作用。
全连接层是怎么产生呢？FC层存在的意义是什么？

先看看如何把一个3x3x5的最后一层卷积的输出feature map（特征图），转换成FC中1x4096的形式。

其实相当于又做了一层卷积，但是这次的卷积核尺寸是3X3X5（filter，或者称之为滤波器），即全连接层特意设计了和feature map中大小尺寸相同的卷积核。此处卷积不像CNN之前卷积和下采样过程会产生深度矩阵feature map。这一次每一次卷积只会产生一个值（因为卷积核和feature map大小尺寸相同）。在把3X3X5的卷积输出转成全连接层中4096神经元中之一的过程中，通过filter的激活函数，对5张3X3特征图中的每一张进行卷积，然后再把这5张feature map卷积结果求和，和就是4096个神经元中之一。

全连接层存在的意义：全连接层之前的卷积层作用本质是提取特征，而全连接层的作用是分类。打个比方，盲人摸象，很多盲人在一起摸象，但是每一个盲人只能摸到大象的一个feature一个特征，这么多盲人每一个盲人只能感知到大象的某一块区域，比如腿，脖子，皮肤，鼻子，象牙，眼睛，耳朵，尾巴。。。等等（卷积输出的若干个feature map）。全连接层的意义就相当于把所有盲人召集在一起开会，把每一个盲人掌握的特征都汇集起来，拼图拼出大象。

全连接层在实际的运用中往往是两层，是因为只有一层全连接层，有些情况下解决不了非线性问题，如果两层，效果就好多了。如泰勒展开拟合光滑曲线一样。

注意到全连接层参数非常多（整个网络参数80%左右），一些性能优异的网络模型如GoogLeNet等，换用全局平均池化（Global Average Pooling，GAP）替换全连接层融合学到的深度特征。