机器学习笔记11-EM算法及其推广

机器学习笔记11-EM算法及其推广

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两部组成：E步，求期望（expectation）；M步，求极大（maximization）。

1. EM算法的引入
   我们面对一个含有隐变量的概率模型，目标是极大化观测数据$Y$关于参数$\theta$的对数似然函数，即极大化
   $$L(\theta )=log(P(Y|\theta ))=\log \sum _{Z}P(Y,Z|\theta )=\log \left(\sum _{Z}P(Y|Z,\theta )P(Z|\theta )\right)$$这一极大化问题的主要困难是包含了未观测数据$Z$并有包含和的对数。假设在第$i$次迭代后$\theta$的估计值是${\theta }_i$，考虑
   $$L(\theta )-L({\theta }_i)=\log \left(\sum _{Z}P(Y|Z,\theta )P(Z|\theta )\right)-logP(Y|{\theta }_i)$$利用Jensen不等式求其下界：
   $$L(\theta )-L({\theta }_i)\ge \sum _{Z}P(Z|Y,{\theta }_i)log\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }_i)P(Y|{\theta }_i)}$$令$$B(\theta ,{\theta }_i)=L({\theta }_i)+\sum _{Z}P(Z|Y,{\theta }_i)log\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }_i)P(Y|{\theta }_i)}$$则$$L(\theta )\ge B(\theta ,{\theta }_i)$$即函数$B(\theta ,{\theta }_i)$是$L(\theta )$的一个下界。因此任何可以使$B(\theta ,{\theta }_i)$增大的$\theta$，也可以使$L(\theta )$增大。为了使$L(\theta )$有尽可能大的增长，选择${\theta }_{i+1}$使$B(\theta ,{\theta }_i)$达到极大，即
   $${\theta }_{i+1}=\arg \underset{\theta }{\max }B(\theta ,{\theta }_i)$$有$${\theta }_{i+1}=\arg \underset{\theta }{\max }\sum _{Z}P(Z|Y,{\theta }_i)logP(Y,Z|\theta )$$令$$Q(\theta ,{\theta }_i)=\sum _{Z}P(Z|Y,{\theta }_i)logP(Y,Z|\theta )$$得$${\theta }_{i+1}=\arg \underset{\theta }{\max }Q(\theta ,{\theta }_i)$$上式等价于EM算法的一次迭代，即求Q函数及其极大化。EM算法时通过不断求解下界的极大化逼近求解对数似然函数极大化的算法。具体地，其算法可表述如下：
   （1）选择参数的初值${\theta }_0$，开始迭代；
   （2）E步：计算$Q(\theta ,{\theta }_i)=\sum _{Z}P(Z|Y,{\theta }_i)logP(Y,Z|\theta )$，这里$P(Z|Y,{\theta }_i)$是在给定观测数据Y和当前的参数估计${\theta }_i$下隐变量数据Z的条件概率分布。
   （3）M步：求使$Q(\theta ,{\theta }_i)$极大化的${\theta }_{i+1}$
   （4）重复第（2）步和第（3）步，直到收敛。
   EM算法不仅能用于监督学习，还可用于非监督学习。

2. 高斯混合模型参数估计的EM算法
   高斯混合模型是指具有如下形式的概率分布模型：
   $$P(y|\theta )=\sum _{k=1}^K{\alpha }_k\varphi (y|{\theta }_k)$$其中，${\alpha }_k$是系数，${\alpha }_k\ge 0$，$\sum _{k=1}^K{\alpha }_k=1$。$\varphi (y|{\theta }_k)$是高斯分布密度，${\theta }_k=({\mu }_k,{\sigma }_k)$
   $$\varphi (y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp (-\frac{{(y-{\mu }_k)}^2}{2{\sigma }_k^2})$$（1）明确隐变量，写出完全数据的对数似然函数
   可以设想观测数据是这样产生的：首先依概率${\alpha }_k$选择第k个高斯分布模型$\varphi (y|{\theta }_k)$，然后依第k个高斯分布模型$\varphi (y|{\theta }_k)$的概率分布生成观测数据$y_j$。这时反映观测数据$y_j$来自第k个分模型的数据是未知的，以隐变量表示如下
   ${\gamma }_{jk}=1，第j个观测值来自第k个分模型$
   ${\gamma }_{jk}=0，否则$
   于是对数似然函数为
   $$\mathrm{logP}(y,\gamma |\theta )=\sum _{k=1}^K\left\{n_k\log {\alpha }_k+\sum _{j=1}^N{\gamma }_{jk}\left[\log \frac{1}{\sqrt{2\pi }}-\log {\sigma }_k-\frac{1}{2{\sigma }_k^2}{(y_j-{\mu }_k)}^2\right]\right\}$$
   （2）EM算法的E步：确定Q函数
   $$Q(\theta ,{\theta }_i)=E\left[\mathrm{logP}(y,\gamma |\theta )|y,{\theta }_i\right]=\sum _{k=1}^K\left\{\sum _{j=1}^N(E{\gamma }_{jk})\log {\alpha }_k+\sum _{j=1}^N(E{\gamma }_{jk})\left[\log \frac{1}{\sqrt{2\pi }}-\log {\sigma }_k-\frac{1}{2{\sigma }_k^2}{(y_j-{\mu }_k)}^2\right]\right\}$$经一系列变形后$$Q(\theta ,{\theta }_i)=\sum _{k=1}^K\left\{n_k\log {\alpha }_k+\sum _{j=1}^N{\hat{\gamma }}_{jk}\left[\log \frac{1}{\sqrt{2\pi }}-\log {\sigma }_k-\frac{1}{2{\sigma }_k^2}{(y_j-{\mu }_k)}^2\right]\right\}$$其中，${\hat{\gamma }}_{jk}=E{\gamma }_{jk}=\frac{{\alpha }_k\varphi (y_j|{\theta }_k)}{\sum _{k=1}^K{\alpha }_k\varphi (y_j|{\theta }_k)}$，${\hat{\gamma }}_{jk}$表示当前模型参数下第j个观测数据来自第k个分模型的概率，称为分模型k对观测数据$y_j$的响应度；$n_k=\sum _{j=1}^{N}E{\gamma }_{jk}$。
   （3）确定EM算法的M步
   迭代的M步是求函数$Q(\theta ,{\theta }_i)$对$\theta$的极大值，即求新一轮迭代的模型参数。具体操作，可求参数偏导数并令其为零，结果如下：
   $${\hat{\mu }}_k=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}{y}_j}{\sum _{j=1}^N{\hat{\gamma }}_{jk}}$$$${\hat{\sigma }}_k^2=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}{(y_j-{\mu }_k)}^2}{\sum _{j=1}^N{\hat{\gamma }}_{jk}}$$$${\hat{\alpha }}_k=\frac{n_k}{N}=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}}{N}$$重复以上计算，知道对数似然函数值不再有明显变化。注意到M步中只跟${\hat{\gamma }}_{jk}$有关，因此在E步中，只需计算${\hat{\gamma }}_{jk}$即可。

参考：
李航《统计学习方法》