[机器学习]最大似然估计

本文介绍了机器学习中的最大似然估计原理,讲解了如何找到使观测样本概率最大的参数估计值。在高斯分布参数估计的例子中,探讨了样本方差分母为何为n-1,解释了当期望未知时,使用n-1作为分母的原因是为了得到无偏估计,避免低估方差。
摘要由CSDN通过智能技术生成

ref1.《模式分类》(Richard O. Duda)chapter3

1. 最大似然估计:

   把待估计参数看作是确定性的量,只是取值未知; 

   最佳估计:使得  产生已观测样本(训练样本)的概率为最大  的值

过程:

样本集D中的样本独立同分布,参数 theta,求使得p(D|theta)的值最大的theta,p(D|theta)看作是关于theta的函数,

似然函数 l(theta)=ln p(D|theta),令l(theta)的导数=0,求得相应参数。

举例:

3.2.2 关于高斯分布u未知的估计

3.2.3 关于高斯分布u,sigma均未知的估计

3.2.4

        C为样本协方差矩阵(分母是n-1),而估计值sigma=(n-1)/n C,是渐近无偏的估计

===========================================================================================

为什么样本方差(sample variance)的分母是 n-1?

--用数学证明,最有说服力!!!

首先,我们假定随机变量X的数学期望\mu是已知的,然而方差\sigma^2未知。在这个条件下,根据方差的定义我们有
\mathbb{E}\Big[\big(X_i -\mu\big)^2 \Big]=\sigma^2, \quad\forall i=1,\ldots,n,

由此可得
\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2.

因此\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2是方差\sigma^2的一个无偏估计,注意式中的分母不偏不倚正好是n

这个结果符合直觉,并且在数学上也是显而易见的。

现在,我们考虑随机变量X的数学期望\mu是未知的情形。这时,我们会倾向于无脑直接用样本均值\bar{X}替换掉上面式子中的\mu。这样做有什么后果呢?后果就是,
如果直接使用\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2作为估计,那么你会倾向于低估方差!
这是因为:
\begin{eqnarray}\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 &=&\frac{1}{n}\sum_{i=1}^n\Big[(X_i-\mu) + (\mu -\bar{X}) \Big]^2\\&=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +\frac{2}{n}\sum_{i=1}^n(X_i-\mu)(\mu -\bar{X})+\frac{1}{n}\sum_{i=1}^n(\mu -\bar{X})^2 \\&=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +2(\bar{X}-\mu)(\mu -\bar{X})+(\mu -\bar{X})^2 \\&=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 -(\mu -\bar{X})^2 \end{eqnarray}
换言之,除非正好\bar{X}=\mu,否则我们一定有
\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 <\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2,
而不等式右边的那位才是的对方差的“正确”估计!
这个不等式说明了,为什么直接使用\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2会导致对方差的低估。

那么,在不知道随机变量真实数学期望的前提下,如何“正确”的估计方差呢?答案是把上式中的分母n换成n-1,通过这种方法把原来的偏小的估计“放大”一点点,我们就能获得对方差的正确估计了:
\mathbb{E}\Big[\frac{1}{n-1} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2\Big]=\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2.

至于为什么分母是 n-1而不是 n-2或者别的什么数,最好还是去看真正的数学证明,因为数学证明的根本目的就是告诉人们“为什么”;暂时我没有办法给出更“初等”的解释了。
2.6K

作者:知乎用户
链接:https://www.zhihu.com/question/20099757/answer/26586088
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
===============================================================================================================



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值