深度学习 | 对比四种归一化方式的区别：BN, LN, IN, GN

看了很多理论分析感觉讲的不是很通俗，这里用一个比喻来说明。想象对于某篮球联赛（训练任务），有很多篮球队（批次），每支球队都有不同的球员（通道），每个球员在比赛中会在不同的位置（空间维度）投篮。现在，归一化就像是在比赛前调整每个球员的状态，让他们的表现更加稳定。四种调整方法如下：

1. BatchNorm（批次归一化）：

   BatchNorm关注整个篮球联赛的平均水平。它会查看所有篮球队中所有球员在所有位置上的表现，然后使用这个全局视角来调整每个球员。这样，每个球员都会被调整到接近联赛的平均水平。但问题是，如果每场比赛（批次）的球队数量不多，这种全局调整就可能不太准确。

2. LayerNorm（层归一化）：

   LayerNorm则是专注于单支篮球队。它只看一支球队中所有球员在所有位置上的表现，然后调整每个球员，使得这支球队的整体水平更加均衡。这种方法不受其他球队的影响，但可能忽视了球员之间的差异。

3. InstanceNorm（实例归一化）：

   InstanceNorm更加个性化。它把注意力放在单个球员的表现上。对于每个球员，它只看这个球员在所有位置上的表现，然后调整他，使得他自己的表现更加稳定。这很适合那些球员的表现会随着比赛场景大幅变化的情况，比如风格迁移。

4. GroupNorm（组归一化）：

   GroupNorm介于BatchNorm和LayerNorm之间。它将一个篮球队的球员分成几个小组，然后分别调整每个小组的球员。这样，它既不需要考虑所有球队的平均水平，也不会忽视球员之间的差异。特别是在每场比赛的球队数量较少时，GroupNorm能提供更稳定的调整。

每种归一化技术都有其优点和适用场景。选择哪一种，就像是教练根据球队的具体情况和比赛的特点来决定训练策略一样，需要根据任务特点来定。