期望最大EM（Expectation Maximum）算法是什么？为什么有时候不用梯度下降而是用EM算法

最新推荐文章于 2023-01-11 16:26:52 发布
最新推荐文章于 2023-01-11 16:26:52 发布
阅读量557 收藏 1
点赞数 1
分类专栏： 数据科学从0到1 文章标签： 数据挖掘 机器学习 em
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhongkeyuanchongqing/article/details/115741409
版权
EM（期望最大化）算法常用于解决含有隐变量的最大似然估计问题，如GMM、聚类和HMM。算法通过E步（估计隐变量概率）和M步（最大化似然函数）迭代求解，可能收敛到局部最优。相比于梯度下降，EM在处理隐变量多时计算更优，是K-Means等算法的基础。
摘要由CSDN通过智能技术生成

EM（Expectation  Maximum）的应用：

 

EM算法有很多的应用，最广泛的就是GMM混合高斯模型、聚类(典型的KMeans算法的过程就属于EM算法)、HMM等等。

EM的核心工作就是隐变量的估计。

EM算法是怎么操作的：

　　首先，初始化参数θ

　　（1）E-Step：根据参数θ计算每个样本属于zi的概率，即这个身高来自四川或东北的概率，这个概率就是Q

　　（2）M-Step：根据计算得到的Q，求出含有θ的似然函数的下界并最大化它，得到新的参数θ

　　重复（1）和（2）直到收敛，可以看到，从思想上来说，和最开始没什么两样，只不过直接最大化似然函数不好做，曲线救国而已。

EM算法在一般情况是收敛的，但是不保证收敛到全局最优，即有可能进入局部的最优。EM算法在混合高斯模型，隐马尔科夫模型中都有应用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Data+Science+Insight
关注
专栏目录
订阅专栏
机器学习的优化目标、期望最大化（Expectation-Maximum, EM）算法、期望最大化（EM）和梯度下降对比
data+scenario+science+insight
06-06 459
机器学习的优化目标、期望最大化（Expectation-Maximum, EM）算法、期望最大化（EM）和梯度下降对比 目录 机器学习的优化目标、期望最大化（Expectation-Maximum, EM）算法、期望最大化（EM）和梯度下降对比 机器学习的优化目标 期望最大化（Expectation-Maximum, EM）算法 期望最大化（EM）和梯度下降对比 机器学习的优化目标 在机器学习中，通常都会将我们所要求解的问题表示为一个带有未知参数的损失函数(Loss)，如平均平方误差（M.
机器学习-算法-有监督学习：EM（最大期望值算法）＜=＞ MLE（最大似然估计法）【关系类似“梯度下降法”＜=＞“直接求导法”】【EM&“梯度下降”：先初始化一个随机值，然后通过迭代不断靠近真实值】
u013250861的博客
11-26 838
最大期望算法（Expectation-maximization algorithm，又译为期望最大化算法），是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。 它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法(HMM)等等。 最大期望算法经过两个步骤交替进行计算： 第一步是计算期望(E)，利用对隐藏变量的现有估计值，计算其最大似然估计值； 第二步是最大化(M)，最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一.
梯度下降和EM算法，kmeans的em推导
weixin_30240349的博客
08-02 369
I. 牛顿迭代法给定一个复杂的非线性函数f(x)，希望求它的最小值，我们一般可以这样做，假定它足够光滑，那么它的最小值也就是它的极小值点，满足f′(x0)=0，然后可以转化为求方程f′(x)=0的根了。非线性方程的根我们有个牛顿法，所以 然而，这种做法脱离了几何意义，不能让我们窥探到更多的秘密。我们宁可使用如下的思路：在y=f(x)的x=xn这一点处，我们可以用一条近似的曲线来逼近原函...
最大似然估计、梯度下降、EM算法、坐标上升
tzl2093的博客
03-01 4876
主要讲解的是机器学习中参数学习算法之间的区别，以及应用的场景。 最大似然估计： 其中目标函数是对数似然函数。为了求目标函数取最大值时的theta。有两个关机键步骤，第一个是对目标函数进行求导，第二个是另导数等于0，求解后直接得到最优theta。两个步骤缺一不可。 梯度下降： 对目标函数进行求导，利用导函数提供的梯度信息，使参数往梯度下降最快的方向移动一小步，来更新参数。为什
【机器学习】采用 EM 算法求解的模型有哪些，为什么不用牛顿法或梯度下降法？(面试回答)
BetterBench的博客
08-16 640
EM的求解原理：在求解一个含有隐变量的概率模型时,目标是极大化观测数据关于参数的对数似然,而其中极大化的主要困难是还有未观测数据并有包含和的对数。然后再依据上一步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计，然后反复迭代，直至最后收敛，迭代结束。高斯混合模型（GMM）、k-means聚类、隐式马尔科夫算法（HMM）、LDA主题模型的变分推断。由于求和的项数随着隐变量的数目指数上升,会给梯度计算带来麻烦.EM算法是一种非梯度化优化算法....
20-EM(Expectation-Maximum)期望最大
scar2016的博客
06-20 359
文章目录1. EM 算法简介2. EM 1. EM 算法简介 EM算法全称叫做Expectation-Maximum期望最大算法，它存在的意义主要就是来解决具有隐变量的混合模型的极大似然估计问题。对于极大似然问题来说，对于一般的模型，我们可以通过求函数的偏导来直接求解析解，但对于含有隐变量的混合模型时，因为计算量太大，所以根本没办法去求解析解，这样我们的EM算法求应运而生。EM算法通常在高斯混合模型GMM和隐马尔科夫模型HMM应用广泛。 简单模型：:θMLE=arg⁡max⁡θlog⁡p(X∣θ)(1)简单
EM(Expectation Maximum) 算法总结
Marcus-Bao的个人主页
03-09 1211
EM算法，全称为Expectation Maximum Algorithm，是一个基础算法，是很多机器学习领域算法的基础（如HMM，LDA等）。EM算法是在**概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐含变量。**
机器学习之最大期望(EM)算法
热门推荐
谓之小一
05-10 1万+
1.EM算法简介 最大期望(Expectation Maximum)算法是一种迭代优化算法，其计算方法是每次迭代分为期望(E)步和最大(M)步。我们先看下最大期望算法能够解决什么样的问题。 假如班级里有50个男生和50个女生，且男生站左，女生站右。我们假定男生和女生的身高分布分别服从正态分布。这时我们用极大似然法，分别通过这50个男生和50个女生的样本来估计这两个正态分布的参数，便可知道男女身...
EM算法的意义
01-14
知乎问题讨论，讨论EM算法的意义。知乎问题讨论，讨论EM算法的意义。
理解为何用期望最大化或梯度下降等启发式方法处理非凸函数在实际中如此有效，对于理论计算机科学而言是一大挑战
studyvcmfc的专栏
09-18 336
理解为何用期望最大化或梯度下降等启发式方法处理非凸函数在实际中如此有效，对于理论计算机科学而言是一大挑战 一本关于理论计算机科学和机器学习之间关联的高水平、快节奏的集大成之作—《机器学习算法》 计算机系统能力培养昨天 【导读】近年来，有关机器学习的著作非常多，但是关于理论计算机科学和机器学习之间关联的书却不多见，今天要介绍的这本书《机器学习算法》，就是一本关于理论计算机科学和机器学习之间关联的高水平、快节奏的大作。 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸..
统计学 | 最大似然估计与EM算法（持续更新）
qq_40145095的博客
09-21 460
统计中许多问题的计算最终都归结为一个最优化问题， 典型代表是最大似然估计(MLE)、各种拟似然估计方法、 非线性回归、惩罚函数方法（如svm、lasso）等。最大似然估计经常需要用最优化算法计算， 最大似然估计问题有自身的特点， 可以直接用一般优化方法进行最大似然估计的计算， 但是利用最大似然估计的特点可以得到更有效的算法。设总体 X\boldsymbol{X}X 有概率密度（连续型随机变量）或概率分布（离散型随机变量） p(x∣θ),θp(\boldsymbol{x} \mid \boldsymbol{\
em算法的一些理解
qishi的博客
09-15 1187
数据： 不完全数据，即含有隐变量——无法观测的变量目的： 求出模型中所有参数的合理估计。为什么使用em算法： 不同于极大似然估计，可以显式的求出使得数据似然度最大的参数，在含有隐变量的模型中，由于需要对隐变量做全概率展开，所以最终的似然函数是求和的形式，而且关键的是没有隐变量数据所以无法求出最大似然度对应的参数。em算法是如何克服上面的障碍的： 1. 我们的目的是估计参数，但是现在数据有缺
【原理】期望最大算法EM——含有隐变量的概率参数模型的最大似然估计或极大后验概率估计
最新发布
Hali_Botebie的博客
01-11 1424
EM 算法，全称 Expectation Maximization Algorithm。期望最大算法是一种迭代算法，用于含有隐变量（Hidden Variable）的概率参数模型的最大似然估计或极大后验概率估计。本文思路大致如下：先简要介绍其思想，然后举两个例子帮助大家理解，有了感性的认识后再进行严格的数学公式推导。
机器学习算法——EM算法
爱学习的影峰的博客
04-19 3730
EM算法是一种迭代算法，分为E、M两步。他就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法  (将求已知量P（Y|θ）转换为求隐变量P（Y|Z,θ）P（Z|θ）的过程）       E步：利用当前估计的参数值，求出在该参数下隐含变量的条件概率值（计算对数似然的期望值）；      M步：结合E步求出的隐含变量条件概率，求出似然函数下界函数的最大值（寻找能使E步产生的似然期望最大化...
为什么不把EM算法说清楚？
unsung的算法笔记
04-14 1133
EM算法在很多博客中都被描述成最为简单的算法，甚至不能称之为算法。但是我却花费了很长时间试图来理解这个70年代就被提出来的概念，却也是雾里看花，似懂非懂的状态。其中很大的一个原因就在于虽然讲述Expectation-Maximization文章虽然很多，但是其中很多作者都是在不加咀嚼地转述Andrew Ng视频，或者就是把Jensen不等式一列，炫技一把就撤了。每次都是眼看着要明白了，结果突然之间...
EM算法的一些感想
木东的博客
05-22 893
EM算法是最大似然估计方法--参数估计方法的一种 为什么要引入EM呢 我觉得 因为参数theta本身是依赖于数据的完整特征 但是只观察了部分特征X 因此需要引入隐藏特征Z 才能建立起theta与X,Z的关系。。。 怎么开始这个过程呢？我们现在自己的脑袋里假设存在一个theta（当然我们未知） 利用这个theta对数据进行了采样 由于每个数据的X特征已知 只须采样每个样本的Z特征 （这是一次实验）
一文读懂EM期望最大化算法和一维高斯混合模型GMM
Python_Ai_Road的博客
08-22 945
EM最大期望算法是一个数值求解似然函数极大值的迭代算法，就好像梯度下降算法是一种数值求解损失函数极小值的迭代算法一样。EM算法通常适合于随机变量依赖于另外一些不可观测的随机变量(称之为隐...
EM算法知识点整理
大锅八十小锅四十
01-24 454
自己的理解 目标θ̃ =argmaxθP(Y|θ)\tilde{\theta} = argmax_\theta P(Y|\theta) 即我们要估计一个合理的θ̃ \tilde{\theta}使得P(Y|θ)P(Y|\theta)达到最大值 如果存在隐变量ZZ，我理解为ZZ是一个没有表现出来但是又是必要的一个中间态，那么P(Y|θ)P(Y|\theta)可以表示为P(Y|θ)=P(Y,Z|θ
最大期望算法（EM）在大数据中的应用解析
"这篇资料主要介绍了最大期望算法(EM算法)，它是统计学中的一种参数估计方法，常用于处理含有隐变量的概率模型。" 在统计学和机器学习领域，最大期望算法（Expectation-Maximization，简称EM算法）是一种非常重要的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Data+Science+Insight

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值