EM算法笔记

最新推荐文章于 2024-03-24 10:30:26 发布

ziyue246

最新推荐文章于 2024-03-24 10:30:26 发布

阅读量239

点赞数

分类专栏：机器学习 EM算法

本文链接：https://blog.csdn.net/ziyue246/article/details/81711966

版权

机器学习同时被 2 个专栏收录

11 篇文章 0 订阅

订阅专栏

EM算法

1 篇文章 0 订阅

订阅专栏

0、整体图解

初始化参数θ

　　（1）E-Step：根据当前参数θ计算每个样本属于zi的概率，这个概率就是Q(z)；

　　（2）M-Step：根据当前得到的Q(z)，求出含有θ的似然函数的下界(jensen不等式)，并最大化，得到新一轮的参数θ；

　　重复（1）和（2）直到收敛

1、目标函数

$L(\theta ) =\prod_{i=1}^{n} p(x_{i}|\theta ) = \prod_{i=1}^{n} \sum_{j=1}^{m} p(x_{i};z_{j}|\theta)$

$l(\theta ) = log L(\theta)$

$l(\theta ) = \sum_{i=1}^{n} log\sum_{j=1}^{m} p(x_{i};z_{j}|\theta) \\= \sum_{i=1}^{n} log\sum_{j=1}^{m}Q(z_j) \frac{p(x_{i};z_{j}|\theta)}{Q(z_j)} \\\geq \sum_{i=1}^{n} \sum_{j=1}^{m}Q(z_j)log \frac{p(x_{i};z_{j}|\theta)}{Q(z_j)} \\\propto \sum_{i=1}^{n} \sum_{j=1}^{m}Q(z_j)log p(x_{i};z_{j}|\theta)$

$\theta = arg(max(l(\theta ) ))$

2、取等号

$\frac{p(x_{i};z_{j}|\theta)}{Q(z_j)} = C ; \sum_{j=1}^{m}Q(z_j)=1 \\ \Rightarrow p(x_{i};z_{j}|\theta) = C*Q(z_j) \\ \Rightarrow \sum_{j=1}^{m}p(x_{i};z_{j}|\theta) = \sum_{j=1}^{m}(C*Q(z_j))=C$