EM算法简述

极大似然估计法在某些情况下无法求出解析解，最典型的是三硬币问题，关于三硬币问题可以参考这个up主的视频，简直保姆级教学了，对我这种数学一般的来说非常友好（视频有很多期，每一期都有手写推导和细致讲解，强力推荐！还有很多其他机器学习方法的讲解）

学呗17: 期望最大化（1）三硬币模型_哔哩哔哩_bilibili

这时候就可以采用EM算法来近似极大似然估计（结合三硬币的例子会很容易理解）

输入：观测变量数据Y,隐变量数据Z，联合分布P(Y,Z|Θ)

           条件分布P(Z|Y, Θ)

输出：模型参数Θ

算法分为E步和M步

 

可以证明，每完成一次迭代，似然函数都会增大或达到局部最大值。 关于EM算法有诸多数学上的解释和证明，感兴趣的可以参见李航的《统计学习方法》和上面推荐的up主视频。

EM算法提供了一种近似计算含有隐变量概率模型的极大似然估计的方法，它的最大优点是简单性和普适性，在高斯混合模型中有广泛的应用。