卷积神经网络的dropout layer

  1、dropout是什么

深度学习领域大神Hinton，在2012年文献：《Improving neural networks by preventing co-adaptation of feature detectors》提出了，在每次训练的时候，让一半的特征检测器停过工作，这样可以提高网络的泛化能力，Hinton又把它称之为dropout。   Dropout用网络训练时工作变化来定义的话，是指在模型训练时随机让某些神经单元的权重停止本次更新，等下次训练时就有可能更新，对于一层中每个神经单元来说，它们更新的概率是相同的。Dropout说的简单一点就是我们让在前向传导的时候，让某个神经元的激活值以一定的概率p，让其停止工作，示意图如下：

 

   2、dopout的作用

  在hinton的论文Improving neural networks by preventing coadaptation提出的，主要作用就是为了防止模型过拟合。当模型参数较多，训练数据较少时候，根据线性代数相关知识可以知道，当前模型可以非常完美的拟合我们的曲线。但该模型对测试数据集可能就没有很好的表现了，也就是说训练出的模型泛化能力很弱，我们称之为过拟合。从文章题目通过阻止特征检测器的共同作用来提高神经网络的性能可以看出，网络在提取训练集特征时，舍弃掉了一部分特征来提高网络的泛化能力。

3、导致的结果

模型泛化能力增强，测试时候  错误个数减少

训练阶段存在波动现象，导致结果不是很稳定

训练时间延长，测试时间无影响