花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

花书+吴恩达深度学习（二七）深度生成模型之玻尔兹曼机及其变体（RBM, DBN, DBM）
花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）
花书+吴恩达深度学习（二九）生成随机网络 GSN

0. 前言

虽然有向图模型在更大的机器学习社群中非常流行，但是在较小的深度学习社群中，直到2013年它们都掩盖在无向模型（如RBM）的光彩之下。

1. sigmoid 信念网络

sigmoid信念网络是一种具有特定条件概率分布的有向图模型的简单形式。

我们可以将sigmoid信念网络视为具有二值向量的状态$s$，状态每个元素都受其祖先影响：
$$p(s_i)=\sigma (\sum _{j<i}{W}_{j,i}{s}_j+b_i)$$

原始采样通过一系列多个隐藏层进行，最终生成可见层。

该结构是可见单元上概率分布的通用近似，即在足够深的情况下，可以任意良好的近似二值变量的任何概率分布。

2. 生成器网络

生成器网络（generator network）使用可微函数$g(z;{\theta }^{(g)})$将潜变量$z$的样本变换为样本$x$或样本$x$上的分布，可微函数通常可以由神经网络表示。

我们可以认为$g$提供了变量的非线性变化，将$z$上的分布变换成$x$上想要的分布。

在某些情况下，使用$g$来定义$x$上的条件分布，例如，最后一层由sigmoid输出组成的生成器网络：
$$p(x_i=1\mid z)=g(z{)}_i$$

当生成器网络在$x$上定义条件分布时，它不但能生成连续数据，也能生成离散数据。

当生成器网络直接提供采样时，它只能产生连续数据，优点是不再被迫使用条件分布。

3. 变分自编码器 VAE

变分自编码器（variational auto-encoder）是将生成器网络与推断网络匹配。

VAE首先从编码分布$p_{model}(z)$中采样$z$，然后使样本通过生成器网络 g ( z ) g(z)