如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~
0. 前言
EM算法是常用的估计参数隐变量的方法,它是一种迭代式算法,EM算法原型:
- E步:若参数 θ \theta θ已知,则可根据训练数据推断出最优隐变量 Z Z Z
- M步:若 Z Z Z的值已知,则可方便的对参数 θ \theta θ进行极大似然估计
1. EM算法
在概率图模型中,主要推断任务是基于观测变量推断隐变量和参数,即 p ( z ∣ x , θ ) p(z\mid x,\theta) p(z∣x,θ)和 θ \theta θ。
通过EM算法不断迭代:
- E步:根据 t t t时刻的参数 θ t \theta^t θt和观测变量推断 p ( z ∣ x , θ t ) p(z\mid x,\theta^t) p(z∣x,θt),并计算联合似然函数 p ( z , x ∣ θ t ) p(z,x\mid \theta^t) p(z,x∣θt),然后计算对数似然 L L ( θ ∣ x , z ) LL(\theta\mid x,z) LL(θ∣x,z)关于隐变量的期望:
Q ( θ ; θ t ) = E z ∣ x