#游戏unity-VR场景漫游#CNN卷积神经网络

一、概述

• 典型的深度学习模型就是很深层的神经网络，包含多个隐含层，多隐层的神经网络很难直接使用BP算法进行直接训练，因为反向传播误差时往往会发散，很难收敛
• CNN节省训练开销的方式是权共享weight sharing，让一组神经元使用相同的权值
• 主要用于图像识别领域

二、卷积–特征提取

• 卷积核（Convolution Kernel），也叫过滤器filter，由对应的权值W和偏置b体现
• 下图是3x3的卷积核在5x5的图像上做卷积的过程，就是矩阵做点乘之后的和
  
  第i个隐含单元的输入就是： $${W_{\rm{i}}}{x_{small}} + {b_i}$$ ，其中 $${x_{small}}$$ 就时与过滤器filter过滤到的图片

卷积特征提取的原理

• 卷积特征提取利用了自然图像的统计平稳性，这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征
• 当有多个filter时，我们就可以学到多个特征，例如：轮廓、颜色等

多个过滤器filter（卷积核）

• 一张图片有RGB三个颜色通道，则对应的filter过滤器也是三维的，图像经过每个filter做卷积运算后都会得到对应提取特征的图像，途中两个filter:W0和W1,输出的就是两个图像
• 这里的步长stride为2（一般就取2,3）
• 在原图上添加zero-padding，它是超参数，主要用于控制输出的大小

三、池化

也叫做下采样
池化的过程——

• 把提取之后的特征看做一个矩阵，并在这个矩阵上划分出几个不重合的区域

• 然后在每个区域上计算该区域内特征的均值或最大值，然后用这些均值或最大值参与后续的训练
  
  下图是使用最大Pooling的方法之后的结果
  

  池化的好处——

• 减少参数

• Pooling就有平移不变性（(translation invariant）
• Pooling的方法中average方法对背景保留更好，max对纹理提取更好
• 深度学习可以进行多次卷积、池化操作

四、激活层

• 在每次卷积操作之后一般都会经过一个非线性层，也是激活层

• 现在一般选择是ReLu,层次越深，相对于其他的函数效果较好，还有Sigmod,tanh函数等
  

• sigmod和tanh都存在饱和的问题，如上图所示，当x轴上的值较大时，对应的梯度几乎为0，若是利用BP反向传播算法， 可能造成梯度消失的情况，也就学不到东西了