西瓜书+实战+吴恩达机器学习（二三）EM算法和变分推断

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

EM算法是常用的估计参数隐变量的方法，它是一种迭代式算法，EM算法原型：

• E步：若参数$\theta$已知，则可根据训练数据推断出最优隐变量$Z$
• M步：若$Z$的值已知，则可方便的对参数$\theta$进行极大似然估计

1. EM算法

在概率图模型中，主要推断任务是基于观测变量推断隐变量和参数，即$p(z\mid x,\theta )$和$\theta$。

通过EM算法不断迭代：

• E步：根据$t$时刻的参数${\theta }^t$和观测变量推断$p(z\mid x,{\theta }^t)$，并计算联合似然函数$p(z,x\mid {\theta }^t)$，然后计算对数似然$LL(\theta \mid x,z)$关于隐变量的期望：
  Q ( θ ; θ t ) = E z ∣ x