文献阅读 - Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

（in editing）

参考文献：Ioffe S , Szegedy C . Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[J]. 2015.

摘要（Abstract）

由于训练过程中各层输入的分布随前一层参数的变化而变化，使得深度神经网络的训练变得复杂，同时也导致学习率较低、初始参数需要仔细调整、使用饱和非线性函数训练模型异常困难。这一现象被称为内部协变漂移（internal covariate shift，ICS）。

本文通过将标准化（normalization）作为模型体系结构的一部分，对每个训练小批（minibatch）进行标准化来解决该问题。批标准化模型可以适当增大学习率（learning rate）、放宽初始参数、甚至无需参数丢弃（dropout）。批标准化模型预测准确度（accuracy）达到原始模型准确度时，训练步数仅为原始模型的7%。

1 引言（Introduction）

考虑一复合网络：

$$l=F_2\left(F_1\left(u,{\Theta }_1\right),{\Theta }_2\right)$$

将$F_1$的输出作为$F_2$的输入$\mathbf{x}=F_1$