花书+吴恩达深度学习（二七）深度生成模型之玻尔兹曼机及其变体（RBM, DBN, DBM）

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

花书+吴恩达深度学习（二七）深度生成模型之玻尔兹曼机及其变体（RBM, DBN, DBM）
花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）
花书+吴恩达深度学习（二九）生成随机网络 GSN

0. 前言

玻尔兹曼机（Boltzmann machine）最初用来学习二值向量上的任意概率分布。

玻尔兹曼机的变体早已超过了原始玻尔兹曼机的流行程度。

1. 玻尔兹曼机

在$d$维二值随机向量 x ∈ { 0 , 1 } d x\in \{0,1\}^d x∈{ 0,1}d上定义玻尔兹曼机，玻尔兹曼机是一种基于能量的模型：
$$\begin{gathered} P(x)=\frac{\exp (-E(x))}{Z} \\ E(x)=-x^{T}Ux-b^{T}x \end{gathered}$$
这意味着一个单元的概率由其他单元值得线性模型给出。

正式的，将单元$x$分解成：可见单元$v$和隐藏单元$h$，能量函数表示为：
$$E(v,h)=-v^{T}Rv-v^{T}Wh-h^{T}Sh-b^{T}v-c^{T}h$$

当基于最大似然的学习规则训练时，连接两个单元的特定权重的更新仅取决于这两个单元在不同分布下收集的统计信息$P_{model}(v)$和${\hat{P}}_{data}(v)P_{model}(h\mid v)$，这意味着学习规则是“局部的”。

2. 受限玻尔兹曼机 RBM

受限玻尔兹曼机（restricted Boltzmann machine）是包含一层可观察变量和单层潜变量的无向概率图模型。

如下图所示（图源：深度学习）：

RBM也是基于能量的模型：
$$\begin{gathered} P(v,h)=\frac{\exp (-E(v,h))}{Z} \\ E(v,h)=-v^{T}Wh-b^{T}v-c^{T}h \\ Z=\sum _v\sum _h\exp (-E(v,h)) \end{gathered}$$

难解的配分函数$Z$意味着归一化联合概率分布$P(v)$也难以估计，但RBM的二分图结构具有非常特殊的性质，其条件分布$P(h\mid v)$和$P(v\mid h)$是因子的，并且计算和采样时相对简单的：
$$\begin{gathered} P(h\mid v)=\prod _{j=1}^{n_h}\sigma ((2h-1)\odot (c+W^{T}v){)}_j \\ P(v\mid h)=\prod _{i=1}^{n_v}\sigma ((2v-1)\odot \end{gathered}$$