关于dropout

理解dropout：

• dropout强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，达到好的效果。
• dropout消除减弱了神经元节点间的联合适应性，增强了泛化能力。
• 对于一个有N个节点的神经网络，有了dropout后，就可以看做是$2^n$个模型的集合了，但此时要训练的参数数目却是不变的，这就解脱了费时的问题。
• dropout其实都相当于增加了样本。

经过交叉验证，隐含节点dropout率等于0.5的时候效果最好，原因是0.5的时候dropout随机生成的网络结构最多。