机器学习之EM算法

一 EM算法简介

1.1 定义

EM算法也称期望最大化（Expectation-Maximum,简称EM）算法。它是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）。

1.2 步骤

EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，期望步（E步）和极大步（M步）

二 EM算法的思路

1. 根据己经给出的观测数据，估计出模型参数的值；
2. 再依据上一步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计；
3. 反复迭代，直至最后收敛，迭代结束。

三 极大似然估计的步骤

1. 写出似然函数
   

2. 对似然函数取对数
   

3. 对上式求导，令导数为0，得到似然方程。

4. 解似然方程，得到的参数值即为所求。