C++版BatchNormalization的实现

注意，本篇只是为了理解bn而写，不能实际使用

要在C++中实现Batch Normalization，你需要执行以下步骤：

1. 对于给定的输入X，首先计算每个特征维度上的均值和方差。
2. 使用这些统计数据来规范化输入数据。
3. 应用放缩和偏移变换。

以下是Batch Normalization在前向传播中的基本伪代码实现：

#include <vector>
#include <cmath>

void batchNormForward(const std::vector<double>& input,
                      std::vector<double>& output,
                      const std::vector<double>& gamma,
                      const std::vector<double>& beta,
                      double epsilon) {
    // Assumes input is a flat vector representing a batch of features.
    // gamma and beta are parameters to be learned,
    // with the same dimension as a single feature vector.
    
    // Calculate mean
    double mean = 0;
    for (const auto& value : input) {
        mean += value;
    }
    mean /= input.size();

    // Calculate variance
    double variance = 0;
    for (const auto& value : input) {
        variance += (value - mean) * (value - mean);
    }
    variance /= input.size();
    
    // Normalize
    output.resize(input.size());
    for (size_t i = 0; i < input.size(); ++i) {
        output[i] = (input[i] - mean) / sqrt(variance + epsilon);
    }

    // Apply gamma and beta
    for (size_t i = 0; i < input.size(); ++i) {
        output[i] = output[i] * gamma[i] + beta[i];
    }
}

在这段代码中，我假设输入input是一个平铺的向量，代表了一批特征值，gamma和beta是学习到的放缩和偏移参数，epsilon是一个小常数（例如1e-5），用来提高数值稳定性。

注意，这个实现简化了多维特征和多个数据点情况。在实践中，你可能需要考虑多维特征的情况，调整代码来执行矩阵操作（并可能使用库如Eigen或者直接使用深度学习框架如PyTorch、TensorFlow或oneDNN的C++接口）。这段代码也没有涵盖如何学习gamma和beta参数，这需要通过反向传播算法完成。

为了进行反向传播，你还需要实现Batch Normalization的梯度计算。这就需要额外的导数计算，以便对gamma和beta参数进行更新，通常和优化算法（如SGD、Adam等）配合使用。