- 局部归一化的动机:在神经生物学有一个概念叫做侧抑制(lateral inhibitio),指的是被激活的神经元抑制相邻神经元。归一化的目的是“抑制”,局部响应归一化就是借鉴侧抑制的思想来实现局部控制,尤其当我们使用RELU的时候这种”侧抑制“很管用。
- 好处:有利于增加泛化能力,做了平滑处理,识别率提高1-2%。LRN层模仿生物神经系统的侧抑制机制,对局部神经元的活动创建竞争机制,使得响应比较大的值相对更大,提高模型泛化能力。Hinton在Imagenet中表明分别提升1.4%和1.2%。
- a表示第i个核在位置(x,y)运用RELU非线性化神经元输出,n是同一位置上临近的kernal map的数目,N是kernal的总数。参数K, n, alpha, belta 都是超参数,一般设置k=2, n=5, alpha=1*e-4, beta=0.75。