em算法

转载请注明:http://blog.csdn.net/zkwdn/article/details/53874568

本篇博文主要总结了em算法的原理和应用场景。

以前看了很多次em算法，从NG的讲义，李航的统计学方法，还有prml的第9章,都是从不同的角度讲述em算法。em就是个优化方法，当损失函数非凸，传统的牛顿型的优化算法起不了作用，这时就需要em来解决，先用e步将它转成一个凸函数，然后再用传统的优化算法或者解析式求解最优值，然后再回到e步，不停的循环。从我学习的角度，感觉ng的讲义讲的非常赞，推导的形式也非常给力。李航的推导方式和prml的推导方式是一致的，包括李航后来用em求解hmm的时候也是用em求解。prml则是先从物理意义讲起，从最普通的kmeans讲起。我这个总结是以ng和prml为基础的，首先阐述ng讲义中的理论，然后介绍了3个小例子，Kmeans,plsa,mlr(阿里盖坤的非线性模型)。