花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

花书+吴恩达深度学习（二七）深度生成模型之玻尔兹曼机及其变体（RBM, DBN, DBM）
花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）
花书+吴恩达深度学习（二九）生成随机网络 GSN

0. 前言

虽然有向图模型在更大的机器学习社群中非常流行，但是在较小的深度学习社群中，直到2013年它们都掩盖在无向模型（如RBM）的光彩之下。

1. sigmoid 信念网络

sigmoid信念网络是一种具有特定条件概率分布的有向图模型的简单形式。

我们可以将sigmoid信念网络视为具有二值向量的状态$s$，状态每个元素都受其祖先影响：
$$p(s_i)=\sigma (\sum _{j<i}{W}_{j,i}{s}_j+b_i)$$

原始采样通过一系列多个隐藏层进行，最终生成可见层。

该结构是可见单元上概率分布的通用近似，即在足够深的情况下，可以任意良好的近似二值变量的任何概率分布。

2. 生成器网络

生成器网络（generator network）使用可微函数$g(z;{\theta }^{(g)})$将潜变量$z$的样本变换为样本$x$或样本$x$上的分布，可微函数通常可以由神经网络表示。

我们可以认为$g$提供了变量的非线性变化，将$z$上的分布变换成$x$上想要的分布。

在某些情况下，使用$g$来定义$x$上的条件分布，例如，最后一层由sigmoid输出组成的生成器网络：
$$p(x_i=1\mid z)=g(z{)}_i$$

当生成器网络在$x$上定义条件分布时，它不但能生成连续数据，也能生成离散数据。

当生成器网络直接提供采样时，它只能产生连续数据，优点是不再被迫使用条件分布。

3. 变分自编码器 VAE

变分自编码器（variational auto-encoder）是将生成器网络与推断网络匹配。

VAE首先从编码分布$p_{model}(z)$中采样$z$，然后使样本通过生成器网络$g(z)$，最后从分布$p_{model}(x;g(z))=p_{model}(x\mid z)$中采样$x$.

在训练期间，近似推断网络（编码器）$g(z\mid x)$用于获得$z$，而$p_{model}(x\mid z)$视为解码器网络。

VAE关键思想是，可以通过最大化与数据点$x$相关联的变分下界来训练：
$$\begin{array}{rl}L(q)& ={\mathbb{E}}_{z\sim q(z\mid x)}\log p_{model}(z,x)+H(q(z\mid x))\\ & ={\mathbb{E}}_{z\sim q(z\mid x)}\log p_{model}(x\mid z)-D_{KL}(q(z\mid x)\left|\right|p_{model}(z))\\ & ⩽\log p_{model}(x)\end{array}$$

变分推断和学习的传统方法是通过优化算法推断$q$，通常是迭代不动点方程。

只要$z$是连续变量，我们就可以通过从$q(z\mid x)=q(z;f(x;\theta ))$中采样$z$的样本反向传播，以获得相对于$\theta$的梯度。

VAE的优点是：

1. VAE被定义为任意计算图，这使得能适用于更广泛的概率模型族
2. VAE还具有增加模型对数似然边界的优点

VAE的缺点是：

1. 它仅针对一个问题学习推断网络
2. 从在图像上训练的VAE采样的样本往往有些模糊
3. 倾向于仅适用$z$维度中的小子集

VAE非常好的特性是，同时训练参数编码器和生成网络的组合迫使模型学习一个编码器可以捕获的可预测的坐标系。

4. 生成式对抗网络 GAN

生成式对抗网络（generative adversarial network）是将生成器网络与判别器网络配对。

GAN基于博弈论场景，其中生成器网络必须与对手竞争。生成器网络直接产生样本$x=g(z;{\theta }^{(g)})$，判别器网络试图区分从训练数据抽取的样本和从生成器抽取的样本。判别器发出由$d(x;{\theta }^{(d)})$给出的概率值，指示$x$是真实训练样本而不是从模型抽取的伪造样本的概率。

形式化表示GAN的简单方式是零和游戏，$v({\theta }^{(g)},{\theta }^{(d)})$确定判别器的收益，$-v({\theta }^{(g)},{\theta }^{(d)})$确定生成器的收益，学习期间，每个玩家最大化自己的收益：
$$\begin{gathered} g^{\ast }=\arg \underset{g}{\min }\underset{d}{\max }v(g,d) \\ v({\theta }^{(g)},{\theta }^{(d)})={\mathbb{E}}_{x\sim p_{data}}\log d(x)+{\mathbb{E}}_{x\sim p_{model}}\log (1-d(x)) \end{gathered}$$

这驱使判别器试图学习将样本正确地分类为真的或者伪造的，同时生成器试图欺骗分类器以让其相信样本都是真实的。

在收敛时，生成器样本与实际数据不可区分，并且判别器处处都输出$\frac{1}{2}$，就可以丢弃判别器。

在实践中，由神经网络表示的$g和d$以及${\max }_{d}v(g,d)$不凸时，GAN的学习可能是困难的。

5. 生成矩匹配网络

生成矩匹配网络（generative moment matching network）不需要将生成器网络与任何网络匹配。

生成矩匹配网络使用矩匹配的技术训练。

矩匹配思想是：令模型生成的样本的许多统计量尽可能与训练集中的样本相似。

矩是对随机变量不同幂的期望，例如第一矩是均值，第二矩是平方的均值。

6. 自回归网络

自回归网络（auto-regressive network）是没有潜在随机变量的有向概率模型，其中条件概率分布由神经网络表示。

图结构是完全图，可通过链式法则分解联合概率分布，这样的模型称为完全可见的贝叶斯网络 FVBN（fully-visible Bayes networks）。

6.1 线性自回归网络

线性自回归网络（linear auto-regressive network）是没有隐藏单元、没有参数或特征共享的形式。

每个$P(x_i\mid x_{i-1},...,x_1)$被参数化为线性模型，如下图所示（图源：深度学习）：

6.2 神经自回归网络

神经自回归网络（neural auto-regressive network）采用不同的条件分布参数，可以根据需要随意增加容量，允许近似任意联合分布。

具有以下优点：

1. 通过具有$(i-1)\times k$个输入和$k$个输出的神经网络参数化每个$P$，让我们不需要指数级参数的情况下就能估计条件概率
2. 不需要对预测每个$x_i$使用不同的神经网络，意味着预测$x_i$所计算的隐藏层特征可以重新用于预测$x_{i+k}$

如下图所示（图源：深度学习）：

6.3 神经自回归密度估计器 NADE

神经自回归密度估计器（neural auto-regressive density estimator）采用了不同组的隐藏单元参数共享的形式。

从第$i$个输入$x_i$到第$j$组隐藏单元的第$k$个元素$h_k^{(j)}$的权重是组内共享的：
$$W_{j,k,i}^{\prime }=W_{k,i}$$

如下图所示（图源：深度学习）：

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~