Batch Normalization详解

参考文章

• BN详解
• BN在具体案例中的使用

BN的作用

使用BN可以获得如下好处：

• 可以使用更大的学习率，训练过程更加稳定，极大提高了训练速度。
• 可以将bias置为0，因为Batch Normalization的Standardization过程会移除直流分量，所以不再需要bias。
• 对权重初始化不再敏感，通常权重采样自0均值某方差的高斯分布，以往对高斯分布的方差设置十分重要，有了Batch Normalization后，对与同一个输出节点相连的权重进行放缩，其标准差σ也会放缩同样的倍数，相除抵消。
  对权重的尺度不再敏感，理由同上，尺度统一由γ参数控制，在训练中决定。
• 深层网络可以使用sigmoid和tanh了，理由同上，BN抑制了梯度消失。
• Batch Normalization具有某种正则作用，不需要太依赖dropout，减少过拟合

BN层放在relu前还是后？

原paper建议将BN层放置在ReLU前，因为ReLU激活函数的输出非负，不能近似为高斯分布。