caffe中的normalization_layer

caffe-ssd里面有normalization的实现，包括.hpp，.cpp，.cu。其实现的是L2-normalization
L2正则化的公式是：

现在来看caffe的代码实现。
首先是caffe.proto，这里面定义了normalization_parameter
message NormalizeParameter {
optional bool across_spatial = 1 [default = true];
// Initial value of scale. Default is 1.0 for all
optional FillerParameter scale_filler = 2;
// Whether or not scale parameters are shared across channels.
optional bool channel_shared = 3 [default = true];
// Epsilon for not dividing by zero while normalizing variance
optional float eps = 4 [default = 1e-10];
}
这里面有两个很重要的参数，across_spatial和channel_shared。
accross_spatial决定了normalization的范围，如果为true的话（默认），则对每个num(channel*height*width)整体进行normalization，也就是上面xi的平方加和的个数是channel*height*width；如果是false的话，就表明normalization不是accross_spatial的，上面加和的个数是channel，也就是说，spatial中的每个像素点（height*width个数）分别进行normalization，这就大大减小了normalization的范围.
至于channel_shared。在上面的归一化完了之后，要将top_data乘以一个scale（这个scale是normalization_layer的唯一的参数），如果channel_shared为true（默认），那么top_data的所有channel都乘以同一个数，如果channel_shared为false，那么top_data的channel乘的数是不一样的。
下面看forward_cpu。

for (int n = 0; n < num; ++n) {
    caffe_sqr<Dtype>