【个人笔记】扩散模型为什么要加噪和去噪

扩散模型：最早扩散模型提出的目的是消除对训练图像连续应用的高斯噪声，将其是为一系列去噪自编码器。（作为图像生成模型）

扩散模型的两个步骤：
（1）固定的（或预设的）前向扩散过程q：该过程会逐渐将高斯噪声添加到图像中，直到最终得到纯噪声。

（2）可训练的反向去噪扩散过程：训练一个神经网络，从纯噪音开始逐渐去噪，直到得到一个真实图像。（生成数据）

为什么要加噪和去噪过程？

1. 提高模型鲁棒性：加入噪声可以使模型更具有鲁棒性，能够更好地处理现实世界中的变化和噪声。在训练过程中，模型需要学会从不完美的数据中提取有用的信息，并且对噪声更具有容忍性。
2. 促进样本多样性：通过引入不同类型和强度的噪声，可以增加训练数据的多样性，从而帮助模型更好地泛化到未见过的数据。这有助于防止过拟合，并提高模型的性能。
3. 解决模型偏差：在一些情况下，模型可能存在偏差，即对数据的错误偏好或错误假设。加入噪声可以帮助模型更好地克服这种偏差，从而提高模型的泛化能力和性能。
4. 模拟真实场景：现实世界中的数据往往会受到各种噪声的影响，例如传感器误差、环境变化等。通过在训练数据中引入类似的噪声，可以使模型更好地模拟真实场景，并提高其在实际应用中的效果。