BN在训练和测试时的差别

BN在训练和测试时的差别 :
对于BN，在训练时，是对每一批的训练数据进行归一化。使用BN的目的就是每个批次分布稳定。当一个模型训练完成之后，它的所有参数都确定了，包括均值和方差，gamma和bata。

而在测试时，比如进行一个样本的预测，就并没有batch的概念，因此，这个时候用的均值和方差是全量训练数据的均值和方差，也就是使用全局统计量来代替批次统计量，这个可以通过移动平均法求得。具体做法是，训练时每个批次都会得到一组（均值、方差），然后对这些数据求数学期望！每轮batch后都会计算，也称为移动平均。

def BN(x, gamma, beta, is_training, moving_mean, moving_var, moving_momentum=0.1):
    eps = 1e-5
    x_mean = torch.mean(x, dim=0, keepdim=True)  # 计算均值
    x_var = torch.mean((x - x_mean) ** 2, dim=0, keepdim=True)  # 计算方差
    if is_training:
        x_hat = (x - x_mean) / torch.sqrt(x_var + eps)  # 类白化操作
        moving_mean[:] = moving_momentum * moving_mean + (1. - moving_momentum) * x_mean  # 移动平均
        moving_var[:] = moving_momentum * moving_var + (1. - moving_momentum) * x_var
    else:
        x_hat = (x - moving_mean) / torch.sqrt(moving_var + eps)
    return gamma.view_as(x_mean) * x_hat + beta.view_as(x_mean)  # 反变换

期望、方差、协方差、相关系数
1.1 定义

期望：是用来度量一个随机变量取值的集中位置或平均水平的最基本的数字特征；我们说概率是频率随样本趋于无穷的极限 ，期望是平均数随样本趋于无穷的极限。

方差：是用来度量随机变量和其数学期望（即均值）之间的偏离程度。

协方差：用于衡量两个随机变量的联合变化程度。而方差是协方差的一种特殊情況，即变量与自身的协方差。反映两个变量变化时是同向还是反向。

相关系数：消除了两个变量量纲影响、标准化后的特殊协方差

1.2 性质