Helmholtz Machine and Wake-Sleep Learning

$\textbf{1.介绍.}$本文主要目的是服务于深信度网络。我们将在这里介绍神经网络无监督学习中的一个重要算法wake-sleep算法，以及和这种算法密切相关的一类机器–Helmholtz machine.
$\textbf{2.Boltzmann distribution.}$在一个物理系统中，颗粒处在不同的状态下的概率分布称为Boltzmann distribution。其中状态$i$出现的概率为

$$p_i=\frac {e^{-E_i/kT}}{\sum_{i=1}^{M} e^{-E_i/kT}}$$
其中每一种状态的概率和状态能量 $E_i$相关，M表示所有可能的状态数，k为常数，T表示系统的温度。
$\textbf{3.Helmholtz machine.}$
$\color{red}{简要介绍.}$Helmholtz machine属于无监督学习。它主要包括两个部分：recognition model 和generative model。这两个部分类似于神经网络。recognition model 是从输入层到隐藏层的传播（自下而上传播），这个部分主要是用于识别输入数据，使得输入数据可以被隐藏层更好的表示，generative model 是从隐藏层到输入层的传播（自上而下传播），这个部分是用于生成输入数据。其目的就是构造一个网络，从而很好的表述输入数据的特征。
$\color{red}{准备工作.}$ 针对generative model。我们假设每一层的神经元在给定其上层的神经元之后是条件独立的。如下式所述

$$p(d,\alpha|\theta)=\prod_{i=0}^{n} p(\alpha_i|\alpha_{i+1},\theta) \tag{1}$$
这个式子表示输入层d和所有隐藏层神经元 $\alpha$在generative model中联合密度函数， $\theta$就是层与层之间的权重， $\alpha_i$表示第i层的神经元， $\alpha_0=d$.我们的目的就是最大化d的边际似然函数（或者是对数似然函数），也就是下式
$$log p(d|\theta)=log\sum_{\alpha}p(d,\alpha|\theta)=log(\sum_{\alpha}p(\alpha|\theta)p(d|\alpha,\theta)) \tag{2}$$
然后，我们从物理学角度来思考，假设在给定输入层d之后， $\alpha$表示系统中的不同状态，这个状态的能量表示为如下形式：
$$E_{\alpha}(\theta,d)=\log p(\alpha|\theta)p(d|\alpha,\theta) \tag{3}$$
同时处于状态 $\alpha$的后验概率分布可以表示成Boltzmann分布，即处于状态 $\alpha$的概率为

Pα(θ,d)=p(α|θ)p(d|α,θ)