dropout原理是什么（公式层面）， 为什么要用？

2、dropout原理是什么（公式层面）， 为什么要用？
1、dropout是一种常用的防止过拟合的方法。
在实践中，我们通常可以通过，增加训练样本，早停（即提前停止训练过程），L1\L2正则，dropout，以及batch normalize等手段来防止过拟合。
2、dropout实现了一种继承学习的思想，在每一次训练时候，模型以概率p“丢弃”一些节点，每一次“丢弃”的节点不完全相同，从而使得模型在每次训练过程中都是在训练一个独一无二的模型，最终集成在同一个模型中。并且在集成过程中dropout采用的并不是平均预测结果，而是将测试时的权重都乘上概率p.
3、在训练过程中，dropout的工作机理是：以一个概率为p的伯努利分布随机的生成与节点数相同的0，1值，将这些值与输入相乘后部分节点被屏蔽，此时再用这些节点值做后续的计算。具体公式如下：

逻辑图

4、通常dropout的值设置在[0.5，1）之间

参考：http://jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf

公众号分享机器学习，深度学习知识和技巧，以及学习资料。