z小白的博客

原创 浅析Batch Normalization

深度神经网络难训练 一个重要的原因就是深度神经网络涉及很多层的叠加，每一层的参数变化都会导致下一层输入数据分布的变化，随着层数的增加，高层输入数据分布变化会非常剧烈，这就使得高层需要不断适应低层的参数更新。为了训练好模型，我们需要谨慎初始化网络权重，调整学习率等。 原理分析 为了解决这个问题，一个比较直接的想法就是对每层输入数据都进行标准化。Batch Normalization确实就是这样...