从扩散模型开始的生成模型范式演变--DDPM(2)

因CSDN正文字数限制，只能拆分为两个文档，接上文继续

无中生有的目标分布

如果我们有过模型训练经验，那就一定知道，需要有一个目标值或GT值与模型预测值计算损失才能实现训练闭环。在前文中我们说到，DDMP就是对“能基于$x_t$计算出$x_{t-1}$”的逆向分布过程建模，模型训练预测出的分布用$p_{\theta }(x_{t-1}|x_t)$表示，那与预测分布进行比较的目标分布应该如何表示呢？

假设目标分布用$q(x_{t-1}|x_t)$表示，请问计算出$q(x_{t-1}|x_t)$这个分布可能吗？理论上，是可能的，但需要遍历整个数据集，通过大量计算，才能实现。如果我们真的大费周章计算出了$q(x_{t-1}|x_t)$，那也没有训练模型的必要了，反正已经知道了目标分布，直接采样就可以了。现在就遇到了一个进退两难的问题，模型训练需要一个目标分布，但目标分布难以获得，并且获得之后就没有训练的必要了。

在深度学习中，特别是生成模型，大多数情况下，训练和推理的起点是不同的。 生成时，目标就是无中生有，是直接从一个随机噪声中生成结果；但训练不一样，我们是从目标分布的数据集开始的，我们是有$x_0$的；$q(x_{t-1}|x_t)$做不到的事情，$q(x_{t-1}|x_t,x_0)$可以做的到。这是一个顺利成章的想法，因为DDPM的训练过程本来就是先从$x_0$数据加噪到$x_T$，然后再通过模型训练进行去噪。将$x_0$作为条件引入到目标分布中进而解决目标分布未知问题的思想，在后续其他扩散模型、分数模型或流模型等生成范式中都会用到。直接将$q(x_{t-1}|x_t,x_0)$拿出来会有些突兀，但其实$q(x_{t-1}|x_t)$和$q(x_{t-1}|x_t,x_0)$是等价的，因为去噪过程也是马尔可夫过程，即$x_{t-1}$只与$x_t$相关，与$x_0$无关，故将$x_0$添加到条件概率$q(x_{t-1}|x_t)$中没有任务影响。虽说$q(x_{t-1}|x_t,x_0)$可以作为目标分布，但一眼看上去$q(x_{t-1}|x_t,x_0)$还是未知的，就要看下面的公式推导：
$$\begin{array}{rl}q(x_{t-1}|x_t,x_0)& =\frac{q(x_t,x_{t-1},x_0)}{q(x_t,x_0)}\\ & =\frac{q(x_t|x_{t-1},x_0)q(x_{t-1},x_0)}{q(x_t,x_0)}\\ & =q(x_t|x_{t-1},x_0)\frac{q(x_{t-1}|x_0)q(x_0)}{q(x_t|x_0)q(x_0)}\\ & =q(x_t|x_{t-1})\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}\end{array}\text{\hspace{1em}(5)}$$
通过上述推导，有一种柳暗花明又一村的感觉，因为$q(x_{t-1}|x_t,x_0)$等价三个前向加噪过程组合表征，而我们前面已经推导出了此处所需的所有公式。公式(5)中的三项都符合高斯分布，直接将高斯分布概率密度函数$f(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$带入计算，有
q ( x t − 1 ∣ x t , x 0 ) = q ( x t ∣ x t − 1 ) q ( x t − 1 ∣ x 0 ) q ( x t ∣ x 0 ) = N ( x t ; α t x t − 1 , ( 1 − α t ) I ) N ( x t − 1 ; α ˉ t − 1 x 0 , ( 1 − α ˉ t − 1 ) I ) N ( x t ; α ˉ t x 0 , ( 1 − α ˉ t ) I ) ∝ exp ⁡ { − [ ( x t − α t x t − 1 ) 2 2 ( 1 − α t ) + ( x t − 1 − α ˉ t − 1 x 0 ) 2 2 ( 1 − α ˉ t − 1 ) − ( x t − α ˉ t x 0 ) 2 2 ( 1 − α ˉ t ) ] } = exp ⁡ { − 1 2 [ ( x t − α t x t − 1 ) 2 1 − α t + ( x t − 1 − α ˉ t − 1 x 0 ) 2 1 − α ˉ t − 1 − ( x t − α ˉ t x 0 ) 2 1 − α ˉ t ] } = exp ⁡ { − 1 2 [ ( x t 2 − 2 α t x t − 1 x t + α t x t − 1 2 ) 1 − α t + ( x t − 1 2 − 2 α ˉ t − 1 x t − 1 x 0 + α ˉ t − 1 x 0 2 ) 1 − α ˉ t − 1 − ( x t − α ˉ t x 0 ) 2 1 − α ˉ t ] } \begin{align*} q(x_{t-1}|x_t,x_0) & = q(x_t|x_{t-1})\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)} \\ & = \frac{N(x_t;\sqrt{\alpha_t}x_{t-1},(1-\alpha_t) I)N(x_{t-1};\sqrt{ \bar{\alpha}_{t-1}} x_0, (1- \bar{\alpha}_{t-1})I)}{N(x_t;\sqrt{ \bar{\alpha}_t} x_0, (1- \bar{\alpha}_t)I)} \\ & \propto \exp \lbrace -[\frac{(x_t-\sqrt{\alpha_t}x_{t-1})^2}{2(1-\alpha_t)} + \frac{(x_{t-1}-\sqrt{ \bar{\alpha}_{t-1}} x_0)^2}{2(1- \bar{\alpha}_{t-1})} - \frac{(x_t-\sqrt{ \bar{\alpha}_t} x_0)^2}{2(1- \bar{\alpha}_t)}] \rbrace \\ & = \exp \lbrace -\frac{1}{2}[\frac{(x_t-\sqrt{\alpha_t}x_{t-1})^2}{1-\alpha_t} + \frac{(x_{t-1}-\sqrt{ \bar{\alpha}_{t-1}} x_0)^2}{1- \bar{\alpha}_{t-1}} - \frac{(x_t-\sqrt{ \bar{\alpha}_t} x_0)^2}{1- \bar{\alpha}_t}] \rbrace \\ & = \exp \lbrace -\frac{1}{2}[\frac{(x_t^2-2\sqrt{\alpha_t}x_{t-1}x_t+\alpha_tx_{t-1}^2 )}{1-\alpha_t} + \frac{(x_{t^-1}^2-2\sqrt{\bar{\alpha}_{t-1}}x_{t-1}x_0+\bar{\alpha}_{t-1}x_0^2)}{1- \bar{\alpha}_{t-1}} - \frac{(x_t-\sqrt{ \bar{\alpha}_t} x_0)^2}{1- \bar{\alpha}_t}] \rbrace \\ \end{align*} q(xt−1​∣xt​,x0​)​=q(xt​∣xt−1​)q(xt​∣x0​)q(xt−1​∣x0​)​=N(xt​;αˉt​ ​x0​,(1−αˉt​)I)N(xt​;αt​ ​xt−1​,(1−αt​)I)N(xt−1​;αˉt−1​ ​x0​,(1−αˉt−1​)I)​∝exp{−[2(1−αt​)(xt​−αt​ ​xt−1​)2​+2(1−αˉt−1​)(xt−1​−αˉt−1​ ​x0​)2​−2(1−αˉt​)(xt​−αˉt​ ​x0​)2​]}=exp{−21​[1−αt​(xt​−αt​ ​xt−1​)2​+1−αˉt−1​(xt−1​−αˉt−1​ ​x0​)2​−1−αˉt​(xt​−αˉt​ ​x0​)2​]}=exp{−21​[1−αt​(xt2​−2αt​ ​xt−1​xt​+αt​xt−12​)​+1−αˉt−1​(xt−12​−2αˉt−1​ ​xt−1​x0​+αˉt−1​x02​)​−1−αˉt​(xt​−αˉt​ ​x0​)2​]}​
上述推理过程很直接，就是将三个高斯分布用概率密函数表示后，再将两项与$x_{t-1}$相关的平方项解开。为什么不把与$x_{t-1}$无关的最后一项解开呢？因为我们的目的是计算$q(x_{t-1}|x_t,x_0)$，$x_{t-1}$是目标，而最后一项$\frac{(x_t-\sqrt{{\bar{\alpha }}_t}{x}_0{)}^2}{1-{\bar{\alpha }}_t}$只与$x_0$、$x_t$、$\alpha$相关，而$q(x_{t-1}|x_t,x_0)$是表示已给定$x_0$、$x_t$时$x_{t-1}$的概率，即$x_0$、$x_t$是已知的，$\frac{(x_t-\sqrt{{\bar{\alpha }}_t}{x}_0{)}^2}{1-{\bar{\alpha }}_t}$相当于是一个常数，本质上对$x_{t-1}$的计算没有影响。上述推导将前两个平方项展开是为了合并，那么此时我们就能想到，应该将以含有$x_{t-1}$的项为公共项进行合并。
q ( x t − 1 ∣ x t , x 0 ) ∝ exp ⁡ { − 1 2 [ ( x t 2 − 2 α t x t − 1 x t + α t x t − 1 2 ) 1 − α t + ( x t − 1 2 − 2 α ˉ t − 1 x t − 1 x 0 + α ˉ t − 1 x 0 2 ) 1 − α ˉ t − 1 − ( x t − α ˉ t x 0 ) 2 1 − α ˉ t ] } = exp ⁡ { − 1 2 [ ( α t 1 − α t + 1 1 − α ˉ t − 1 ) x t − 1 2 − ( 2 α t x t 1 − α t + 2 α ˉ t − 1 x 0 1 − α ˉ t − 1 ) x t − 1 + ( x t 2 1 − α t + α ˉ t − 1 x 0 2 1 − α ˉ t − 1 + ( x t − α ˉ t x 0 ) 2 1 − α ˉ t ) ] } \begin{align*} q(x_{t-1}|x_t,x_0) & \propto \exp \lbrace -\frac{1}{2}[\frac{(x_t^2-\color{blue}{2\sqrt{\alpha_t}x_{t-1}x_t}\color{grey}+\color{red}\alpha_tx_{t-1}^2\color{grey})}{1-\alpha_t} + \frac{(\color{red}x_{t^-1}^2\color{grey}-\color{blue}2\sqrt{\bar{\alpha}_{t-1}}x_{t-1}x_0\color{grey}+\bar{\alpha}_{t-1}x_0^2)}{1- \bar{\alpha}_{t-1}} - \frac{(x_t-\sqrt{ \bar{\alpha}_t} x_0)^2}{1- \bar{\alpha}_t}] \rbrace \\ & = \exp \lbrace -\frac{1}{2}[(\frac{\alpha_t}{1-\alpha_t}+\frac{1}{1- \bar{\alpha}_{t-1}})x_{t-1}^2-(\frac{2\sqrt{\alpha_t}x_t}{1-\alpha_t}+\frac{2\sqrt{\bar{\alpha}_{t-1}}x_0}{1- \bar{\alpha}_{t-1}})x_{t-1} + (\frac{x_t^2}{1-\alpha_t}+\frac{\bar{\alpha}_{t-1}x_0^2}{1- \bar{\alpha}_{t-1}}+\frac{(x_t-\sqrt{ \bar{\alpha}_t} x_0)^2}{1- \bar{\alpha}_t})] \rbrace \\ \end{align*} q(xt−1​∣xt​,x0​)​∝exp{−21​[1−αt​(xt2​−2αt​ ​xt−1​xt​+αt​xt−12​)​+1−αˉt−1​(xt−12​−2αˉt−1​ ​xt−1​x0​+αˉt−1​x02​)​−1−αˉt​(xt​−αˉt​ ​x0​)2​]}=exp{−21​[(1−αt​αt​​+1−αˉt−1​1​)xt−12​−(1−αt​2αt​ ​xt​​+1−αˉt−1​2αˉt−1​ ​x0​​)xt−1​+(1−αt​xt2​​+1−αˉt−1​αˉt−1​x02​​+1−αˉt​(xt​−αˉt​ ​x0​)2​)]}​

上述推导过程是将包含$x_{t-1}$和$x_{t-1}^2$的同类项合并，得到前两项，然后剩下与$x_{t-1}$无关组的项成第三项，前文已经讨论了，与$x_{t-1}$无关的项，其实是一个常数，可用$C(x_t,x_0)$表示，并且后续可通过正比于/$\propto$关系直接忽略此项。
q ( x t − 1 ∣ x t , x 0 ) ∝ exp ⁡ { − 1 2 [ ( α t 1 − α t + 1 1 − α ˉ t − 1 ) x t − 1 2 − ( 2 α t x t 1 − α t + 2 α ˉ t − 1 x 0 1 − α ˉ t − 1 ) x t − 1 + C ( x t , x 0 ) ] } ∝ exp ⁡ { − 1 2 [ ( α t 1 − α t + 1 1 − α ˉ t − 1 ) x t − 1 2 − 2 ( α t x t 1 − α t + α ˉ t − 1 x 0 1 − α ˉ t − 1 ) x t − 1 ] } = exp ⁡ { − 1 2 [ α t ( 1 − α ˉ t − 1 ) + 1 − α t ( 1 − α t ) ( 1 − α ˉ t − 1 ) x t − 1 2 − 2 ( α t x t 1 − α t + α ˉ t − 1 x 0 1 − α ˉ t − 1 ) x t − 1 ] } = exp ⁡ { − 1 2 [ α t − α ˉ t + 1 − α t ( 1 − α t ) ( 1 − α ˉ t − 1 ) x t − 1 2 − 2 ( α t x t 1 − α t + α ˉ t − 1 x 0 1 − α ˉ t − 1 ) x t − 1 ] } = exp ⁡ { − 1 2 [ 1 − α ˉ t ( 1 − α t ) ( 1 − α ˉ t − 1 ) x t − 1 2 − 2 ( α t x t 1 − α t + α ˉ t − 1 x 0 1 − α ˉ t − 1 ) x t − 1 ] } = exp ⁡ { − 1 2 ( 1 − α ˉ t ( 1 − α t ) ( 1 − α ˉ t − 1 ) ) [ x t − 1 2 − 2 ( α t x t 1 − α t + α ˉ t − 1 x 0 1 − α ˉ t − 1 ) 1 − α ˉ t ( 1 − α t ) ( 1 − α ˉ t − 1 ) x t − 1 ] } = exp ⁡ { − 1 2 ( 1 − α ˉ t ( 1 − α t ) ( 1 − α ˉ t − 1 ) ) [ x t − 1 2 − 2 ( α t x t 1 − α t + α ˉ t − 1 x 0 1 − α ˉ t − 1 ) ( 1 − α t ) ( 1 − α ˉ t − 1 ) 1 − α ˉ t x t − 1 ] } = exp ⁡ { − 1 2 ( 1 ( 1 − α t ) ( 1 − α ˉ t − 1 ) 1 − α ˉ t ) [ x t − 1 2 − 2 α t ( 1 − α ˉ t − 1 ) x t + α ˉ t − 1 ( 1 − α t ) x 0 1 − α ˉ t x t − 1 ] } ∝ N ( x t − 1 ; α t ( 1 − α ˉ t − 1 ) x t + α ˉ t − 1 ( 1 − α t ) x 0 1 − α ˉ t ⏟ μ q ( x t , x 0 ) , ( 1 − α t ) ( 1 − α ˉ t − 1 ) 1 − α ˉ t I ⏟ Σ q ( t ) ) \begin{align*} q(x_{t-1}|x_t,x_0) & \propto \exp \lbrace -\frac{1}{2}[(\frac{\alpha_t}{1-\alpha_t}+\frac{1}{1- \bar{\alpha}_{t-1}})x_{t-1}^2-(\frac{2\sqrt{\alpha_t}x_t}{1-\alpha_t}+\frac{2\sqrt{\bar{\alpha}_{t-1}}x_0}{1- \bar{\alpha}_{t-1}})x_{t-1} + C(x_t,x_0)] \rbrace \\ & \propto \exp \lbrace -\frac{1}{2}[(\frac{\alpha_t}{1-\alpha_t}+\frac{1}{1- \bar{\alpha}_{t-1}})x_{t-1}^2-2(\frac{\sqrt{\alpha_t}x_t}{1-\alpha_t}+\frac{\sqrt{\bar{\alpha}_{t-1}}x_0}{1- \bar{\alpha}_{t-1}})x_{t-1}] \rbrace \\ & = \exp \lbrace -\frac{1}{2}[\frac{\alpha_t(1- \bar{\alpha}_{t-1})+1-\alpha_t}{(1-\alpha_t)(1- \bar{\alpha}_{t-1})}x_{t-1}^2-2(\frac{\sqrt{\alpha_t}x_t}{1-\alpha_t}+\frac{\sqrt{\bar{\alpha}_{t-1}}x_0}{1- \bar{\alpha}_{t-1}})x_{t-1}] \rbrace \\ & = \exp \lbrace -\frac{1}{2}[\frac{\alpha_t- \bar{\alpha}_t+1-\alpha_t}{(1-\alpha_t)(1- \bar{\alpha}_{t-1})}x_{t-1}^2-2(\frac{\sqrt{\alpha_t}x_t}{1-\alpha_t}+\frac{\sqrt{\bar{\alpha}_{t-1}}x_0}{1- \bar{\alpha}_{t-1}})x_{t-1}] \rbrace \\ & = \exp \lbrace -\frac{1}{2}[\frac{1- \bar{\alpha}_t}{(1-\alpha_t)(1- \bar{\alpha}_{t-1})}x_{t-1}^2-2(\frac{\sqrt{\alpha_t}x_t}{1-\alpha_t}+\frac{\sqrt{\bar{\alpha}_{t-1}}x_0}{1- \bar{\alpha}_{t-1}})x_{t-1}] \rbrace \\ & = \exp \lbrace -\frac{1}{2}(\frac{1- \bar{\alpha}_t}{(1-\alpha_t)(1- \bar{\alpha}_{t-1})})[x_{t-1}^2-2\frac{(\frac{\sqrt{\alpha_t}x_t}{1-\alpha_t}+\frac{\sqrt{\bar{\alpha}_{t-1}}x_0}{1- \bar{\alpha}_{t-1}})}{\frac{1- \bar{\alpha}_t}{(1-\alpha_t)(1- \bar{\alpha}_{t-1})}}x_{t-1}] \rbrace \\ & = \exp \lbrace -\frac{1}{2}(\frac{1- \bar{\alpha}_t}{(1-\alpha_t)(1- \bar{\alpha}_{t-1})})[x_{t-1}^2-2\frac{(\frac{\sqrt{\alpha_t}x_t}{1-\alpha_t}+\frac{\sqrt{\bar{\alpha}_{t-1}}x_0}{1- \bar{\alpha}_{t-1}})(1-\alpha_t)(1- \bar{\alpha}_{t-1})}{1- \bar{\alpha}_t}x_{t-1}] \rbrace \\ & = \exp \lbrace -\frac{1}{2}(\frac{1}{\frac{(1-\alpha_t)(1- \bar{\alpha}_{t-1})}{1- \bar{\alpha}_t}})[x_{t-1}^2-2\frac{\sqrt{\alpha_t}(1- \bar{\alpha}_{t-1})x_t+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_t)x_0}{1- \bar{\alpha}_t}x_{t-1}] \rbrace \\ & \propto N(x_{t-1};\underbrace{\frac{\sqrt{\alpha_t}(1- \bar{\alpha}_{t-1})x_t+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_t)x_0}{1- \bar{\alpha}_t}}_{\mu_q(x_t,x_0)},\underbrace{\frac{(1-\alpha_t)(1- \bar{\alpha}_{t-1})}{1- \bar{\alpha}_t}I}_{\Sigma_q(t)}) \tag6 \end{align*} q(xt−1​∣xt​,x0​)​∝exp{−21​[(1−αt​αt​​+1−αˉt−1​1​)xt−12​−(1−αt​2αt​ ​xt​​+1−αˉt−1​2αˉt−1​ ​x0​​)xt−1​+C(xt​,x0​)]}∝exp{−21​[(1−αt​αt​​+1−αˉt−1​1​)xt−12​−2(1−αt​αt​ ​xt​​+1−αˉt−1​αˉt−1​ ​x0​​)xt−1​]}=exp{−21​[(1−αt​)(1−αˉt−1​)αt​(1−αˉt−1​)+1−αt​​xt−12​−2(1−αt​αt​ ​xt​​+1−αˉt−1​αˉt−1​ ​x0​​)xt−1​]}=exp{−21​[(1−αt​)(1−αˉt−1​)αt​−αˉt​+1−αt​​xt−12​−2(1−αt​αt​ ​xt​​+1−αˉt−1​αˉt−1​ ​x0​​)xt−1​]}=exp{−21​[(1−αt​)(1−αˉt−1​)1−αˉt​​xt−12​−2(1−αt​αt​ ​xt​​+1−αˉt−1​αˉt−1​ ​x0​​)xt−1​]}=exp{−21​((1−αt​)(1−αˉt−1​)1−αˉt​​)[xt−12​−2(1−αt​)(1−αˉt−1​)1−αˉt​​(1−αt​αt​ ​xt​​+1−αˉt−1​αˉt−1​ ​x0​​)​xt−1​]}=exp{−21​((1−αt​)(1−αˉt−1​)1−αˉt​​)[xt−12​−21−αˉt​(1−αt​αt​ ​xt​​+1−αˉt−1​αˉt−1​ ​x0​​)(1−αt​)(1−αˉt−1​)​xt−1​]}=exp{−21​(1−αˉt​(1−αt​)(1−αˉt−1​)​1​)[xt−12​−21−αˉt​αt​ ​(1−αˉt−1​)xt​+αˉt−1​ ​(1−αt​)x0​​xt−1​]}∝N(xt−1​;μq​(xt​,x0​) 1−αˉt​αt​ ​(1−αˉt−1​)xt​+αˉt−1​ ​(1−αt​)x0​​​​,Σq​(t) 1−αˉt​(1−αt​)(1−αˉt−1​)​I​​)​(6)​

从上述公式(6)的上一步推导出公式(6)其实是少写了一个常数项，与$f(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{x^2-2\mu x+{\mu }^2}{2{\sigma }^2})$对比可知，公式(6)上一行中只有包含$x_{t-1}^2$和$x_{t-1}$两项，分别对应标准公式中的$x^2$和$2\mu x$，但少了${\mu }^2$这一项，但其实因为最终的$\mu$只与$x_0$、$x_t$、$\alpha$相关，是一个常数项，故完全可以通过加一减一的操作构建一个${\mu }^2$来，再通过正比于/$\propto$关系忽略多出的一个常数项。

经过上述复杂的推导过程，得出的结论是，$q(x_{t-1}|x_t,x_0)$也符合高斯分布，其均值记为${\mu }_q(x_t,x_0)$，是一个$x_t,x_0$的函数，训练过程中$x_t,x_0$是已知的，故可以计算出${\mu }_q(x_t,x_0)$；方差记为${\Sigma }_q(t)$，仅与$\alpha$有关，在DDPM中${\alpha }_t=1-{\beta }_t$，${\beta }_t$是人为设置的超参数，方差${\Sigma }_q(t)$可直接计算。

至此，通过大量推导，我们得到了一个可以作为训练目标且可解的分布，即公式(6)。

设计感强但有效的损失函数

在深度学习中，损失函数是很重要的一环，算法研究人员往往会从训练目标出发构建各式各样的损失函数，了解早期用GAN实现图片风格迁移的读者应该对此有强烈的感受。损失函数的构建，开发者解释说明时一般都带有假设性，实际均是从结果出发，发表出来的首先得效果好，其次才是基于最终使用得损失函数进行补充性解释。基于公式(6)中，有以下结论：
$${\mu }_q(x_t,x_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\bar{\alpha }}_t}$$
$${\Sigma }_q(t)=\frac{(1-{\alpha }_t)(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}I={\sigma }_q^2(t)$$

训练目标是将模型预测分布$p_{\theta }(x_{t-1}|x_t)$尽可能接近目标分布$q(x_{t-1}|x_t,x_0)$，此时就体现出构建损失函数的假设性，即$q(x_{t-1}|x_t,x_0)$是高斯分布，那么显然$p_{\theta }(x_{t-1}|x_t)$也应该是一个高斯分布，将其均值记为${\mu }_{\theta }$，方差记为${\Sigma }_{\theta }$。前文已提到${\Sigma }_q(t)$是一个不需要模型学习的参数，故可直接假设${\Sigma }_q(t)={\Sigma }_{\theta }$。DDPM论文作者认为此方差学习与否，对最终效果影响不大，故没有使用模型进行学习。现有
$$p_{\theta }(x_{t-1}|x_t)\sim N(x_{t-1};{\mu }_{\theta },{\Sigma }_q(t))$$

现在模型预测分布$p_{\theta }(x_{t-1}|x_t)$和目标分布$q(x_{t-1}|x_t,x_0)$的均值和方差都已确定，可通过计算KL散度来表征两个分布之间的差距。根据前半部分的前置知识中提到的两个高斯分布的KL散度计算公式：$P\sim N({\mu }_1,{\sigma }_1^{2}I)$和$Q\sim N({\mu }_2,{\sigma }_2^{2}I)$，$D_{KL}(P||Q)=\log \frac{{\sigma }_2}{{\sigma }_1}+\frac{{\sigma }_1^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}-\frac{1}{2}$，有
$$\begin{array}{rl}{D}_{KL}(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t))& =D_{KL}(N(x_{t-1};{\mu }_q,{\Sigma }_q(t))||N(x_{t-1};{\mu }_{\theta },{\Sigma }_q(t)))\\ & =\log \frac{\sqrt{{\Sigma }_q(t)}}{\sqrt{{\Sigma }_q(t)}}+\frac{{\Sigma }_q(t)+({\mu }_q-{\mu }_{\theta }{)}^2}{2{\Sigma }_q(t)}-\frac{1}{2}\\ & =\log 1+\frac{1}{2}+\frac{({\mu }_q-{\mu }_{\theta }{)}^2}{2{\Sigma }_q(t)}-\frac{1}{2}\\ & =\frac{({\mu }_q-{\mu }_{\theta }{)}^2}{2{\Sigma }_q(t)}\\ & =\frac{1}{2{\sigma }_q^2(t)}[||{\mu }_q-{\mu }_{\theta }|{|}_2^2]\end{array}\text{\hspace{1em}(7)}$$

又是经过一系列公式推导后，我们得到了公式(7)，将两个高斯分布的KL散度简化为了两个分布的均值之间的差异。其实还有一部分基于VAE损失函数ELBO进行拆分、推理的过程，本文将该部分省略，省略后对理解没有任何影响，甚至能提高理解性。

继续推导，公式(7)虽然已用于训练，但是与DDPM中的去噪毫无关系，表明我们还需继续推导。目前有${\mu }_q(x_t,x_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\bar{\alpha }}_t}$，其实关于$x_t$和$x_0$的函数，训练时$x_0$是已知的，但预测时$x_0$是未知的，那应该如何而来呢？此时，就要继续用到之前推导的公式$q(x_t|x_0)\sim N(x_t;\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)I)$，基于其有：
$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{(1-{\bar{\alpha }}_t)}{ϵ}_t,{\bar{\alpha }}_t=\prod _1^t{\alpha }_i,{ϵ}_t\sim N(0,I)$$
将上式反过来，就能通过$x_t$计算出$x_0$，即
$$x_0=\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t}{\sqrt{{\bar{\alpha }}_t}},{ϵ}_t\sim N(0,I)\text{\hspace{1em}(8)}$$
将公式(8)带入${\mu }_q(x_t,x_0)$的计算公式有，
$$\begin{array}{rl}{\mu }_q(x_t,x_0)& =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\bar{\alpha }}_t}\\ & =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t}{\sqrt{{\bar{\alpha }}_t}}}{1-{\bar{\alpha }}_t}\\ & =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t}{1-{\bar{\alpha }}_t}+\frac{(1-{\alpha }_t)x_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}-\frac{(1-{\alpha }_t)\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}\\ & =(\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}+\frac{1-{\alpha }_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}})x_t-\frac{(1-{\alpha }_t)\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}\\ & =(\frac{{\alpha }_t(1-{\bar{\alpha }}_{t-1})}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}+\frac{1-{\alpha }_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}})x_t-\frac{(1-{\alpha }_t){ϵ}_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}\\ & =\frac{{\alpha }_t-{\bar{\alpha }}_t+1-{\alpha }_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}{x}_t-\frac{(1-{\alpha }_t){ϵ}_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}\\ & =\frac{1-{\bar{\alpha }}_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}{x}_t-\frac{(1-{\alpha }_t)}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}{ϵ}_t\\ & =\frac{1}{\sqrt{{\alpha }_t}}{x}_t-\frac{(1-{\alpha }_t)}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}{ϵ}_t\end{array}\text{\hspace{1em}(9)}$$
公式(9)中已没有$x_0$，噪声${ϵ}_t$也出现了，逐渐与去噪过程联系起来。还是上面的思路，既然目标分布的均值${\mu }_q$是公式(9)的形式，为了尽可能保证模型预测分布与目标分布距离小，在已将均值设置为相等的前提下，将模型预测分布的均值${\mu }_{\theta }$也按照公式(9)的形式构建，即
$${\mu }_{\theta }={\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}{x}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}\widehat{{ϵ}_{\theta }}(x_t,t)\text{\hspace{1em}(10)}$$
公式(9)、(10)带入到公式(7)中继续计算
$$\begin{array}{rl}& D_{KL}(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t))\\ & =\frac{1}{2{\sigma }_q^2(t)}[||{\mu }_q-{\mu }_{\theta }|{|}_2^2]\\ & =\frac{1}{2{\sigma }_q^2(t)}[||\frac{1}{\sqrt{{\alpha }_t}}{x}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}{ϵ}_t-\frac{1}{\sqrt{{\alpha }_t}}{x}_t+\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}\widehat{{ϵ}_{\theta }}(x_t,t)|{|}_2^2]\\ & =\frac{1}{2{\sigma }_q^2(t)}[||-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}{ϵ}_t+\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}\widehat{{ϵ}_{\theta }}(x_t,t)|{|}_2^2]\\ & =\frac{1}{2{\sigma }_q^2(t)}[||-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}({ϵ}_t-\widehat{{ϵ}_{\theta }}(x_t,t))|{|}_2^2]\\ & =\frac{1}{2{\sigma }_q^2(t)}\frac{(1-{\alpha }_t{)}^2}{(1-{\bar{\alpha }}_t){\alpha }_t}[||{ϵ}_t-\widehat{{ϵ}_{\theta }}(x_t,t)|{|}_2^2]\end{array}\text{\hspace{1em}(11)}$$
至此，我们完成了损失函数构建的所有推导，DDPM训练时就是将公式(11)作为损失函数，其中${ϵ}_t$是前向过程中从第$t-1$步到第$t$步时向样本数据中添加的随机噪声，而$\widehat{{ϵ}_{\theta }}(x_t,t)$则是模型预测的噪声，将分布预测任务转为了噪声预测任务，即DDPM最终的训练本质是以前向过程加噪的真实噪声为目标对象，通过模型预测前向过程加噪的噪声量，将其与真实加噪比较、计算损失，实现训练闭环。

训练与采样过程

训练过程

1. 从高斯分布$N\sim (0,I)$中随机采样一个噪声${ϵ}_t$，从{1,2,…,T}中随机采样一个时间步$t$；注意每个时刻都是独立重新采样新的随机高斯噪声，不同时刻$t，ϵ$是不一样的值
2. 将随机采样的${ϵ}_t,t$带入公式$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{(1-{\bar{\alpha }}_t)}{ϵ}_t$可以基于$x_0$计算出$x_t$；$x_0$是已知的训练数据
3. 将$x_t,t$输入神经网络模型，模型预测值$\widehat{{ϵ}_{\theta }}(x_t,t)$即模型预测的噪声
4. 计算$ϵ$和$\widehat{{ϵ}_{\theta }}(x_t,t)$之间的平方差误差，通过梯度计算、反向传播优化模型参数，最小化此平方误差

基于上述步骤对模型进行训练，训练结束之后，整个模型就相当于是$\widehat{{ϵ}_{\theta }}(x_t,t)$，即模型能够预测前向过程中从$x_{t-1}$到$x_t$添加的噪声。从直觉上讲，模型预测每一步的噪声比直接预测$x_0$要容易很多，DDPM论文就是证明了此想法。以下是训练伪代码：

采样过程

1. 从高斯分布$N\sim (0,I)$中随机采样一个纯噪声$x_t$；$x_t$为采样过程起点
2. 从时间步T开始，逐渐按顺序循环执行以下步骤到时间步1；与训练过程不同，采样过程中时间步是按逆向过程一步一步执行的，训练过程中时间步是随机采样
   2.1. 从高斯分布$N\sim (0,I)$中随机采样一个噪声$z$
   2.2. 使用训练后的模型预测出前向过程中从$x_{t-1}$到$x_t$添加的噪声：$\widetilde{ϵ}=\widehat{{ϵ}_{\theta }}(x_t,t)$
   2.3. 使用公式(8)计算$x_0$的估计值$\widetilde{x_0}=\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}\widetilde{ϵ}}{\sqrt{{\bar{\alpha }}_t}}$
   2.4. 使用公式${\mu }_q(x_t,x_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\bar{\alpha }}_t}$计算目标分布$q(x_{t-1}|x_t,x_0)$的均值估计值$\tilde{\mu }={\mu }_t(x_t,\widetilde{x_0})$
   2.5. 至此，当前时间步目标分布$q(x_{t-1}|x_t,x_0)$的均值和方差均已知，可直接采样出$x_{t-1}$，即$x_{t-1}=\tilde{\mu }+{\sigma }_{t}z$
3. 上述第二步骤循环执行到时间步1时结束执行，获得最终的预测值$x_0$

以下是采样伪代码：

总结

本文通过大量公式推导，完整熟悉了DDPM的数学原理，其中涉及到的数学知识基本都是高中数学，详细读者略微用心就能完全搞清楚整个扩散模型原理。有的读者可能会觉得，只要会用不就好了，为什么要花这么多时间了解原理细节；但本文中的大量原理是与我们在使用stable diffusion生图时息息相关的。如为什么会stable diffusion webui中有那么多采样方法，为什么comfyui中有采样器和调度器，这些就是与扩散模型中的采样方式、加噪方式相关；为什么comfyui文生图时需要先初始化一个空的Latent Image，这是因为文生图是就是从噪声开始的。相信本文能提高读者对扩散模型生成原理的理解程度，进而提高对stable diffusion模型的理解。