深度学习/神经网络基础知识

1*1卷积的作用：（1*1卷积是二维卷积）

1*1卷积就仅仅知识对不同切片的相同位置点进行线性叠加（当然是先乘以这个1*1卷积核系数再叠加）。这样可以进行数据的维度变换，例如原本是3*640*640的输入（3个切片），通过12个1*1卷积核，就变成了了12*640*640的输出。

 

卷积神经网络的意义：

全连接前馈神经网络处理图像的问题：

1.参数太多。如果输入为100*100*3的图，第一个隐藏层的每个神经元到输入层有100*100*3=30000个相互独立的连接，每个连接都有一个权重参数。

2.局部不变性特征。全连接前馈神经网络难以提取这些局部不变性特征，一般需要数据增强来提高性能。

根据卷积层实现原理即可理解卷积神经网络可以很好地解决上述问题。

 

残差网络的意义：

三个点：1.深层网络效果不会比浅层网络差。因为深层网络前面完全copy浅层网络，后面接恒等映射即可做到。2.归一化（归一初始化+中间归一化）缓解了梯度消失/梯度爆炸问题，但是随着层数增加依然不能完全解决。3.网络层数较多的时候训练会出现退化，即增加网络层数，准确率达到最高点后迅速下降。

对第三点：随着网络深度的不断增大，所引入的激活函数也越来越多，数据被映射到更加离散的空间，此时已经难以让数据回到原点（恒等变换）。或者说，神经网络将这些数据映射回原点所需要的计算量，已经远远超过我们所能承受的[3]。