[机器学习]最大似然估计

最新推荐文章于 2024-07-08 15:46:00 发布

Lucky和小白

最新推荐文章于 2024-07-08 15:46:00 发布

阅读量685

点赞数

分类专栏：机器学习数学

本文链接：https://blog.csdn.net/zhouxinxin0202/article/details/78529372

版权

机器学习同时被 2 个专栏收录

35 篇文章 6 订阅

订阅专栏

数学

8 篇文章 0 订阅

订阅专栏

本文介绍了机器学习中的最大似然估计原理，讲解了如何找到使观测样本概率最大的参数估计值。在高斯分布参数估计的例子中，探讨了样本方差分母为何为n-1，解释了当期望未知时，使用n-1作为分母的原因是为了得到无偏估计，避免低估方差。

摘要由CSDN通过智能技术生成

ref1.《模式分类》（Richard O. Duda）chapter3

1. 最大似然估计：

把待估计参数看作是确定性的量，只是取值未知；

最佳估计：使得产生已观测样本（训练样本）的概率为最大的值 。

过程：

样本集D中的样本独立同分布，参数 theta，求使得p(D|theta)的值最大的theta，p(D|theta)看作是关于theta的函数，

似然函数 l(theta)=ln p(D|theta)，令l(theta)的导数=0，求得相应参数。

举例：

3.2.2 关于高斯分布u未知的估计

3.2.3 关于高斯分布u，sigma均未知的估计

3.2.4

C为样本协方差矩阵（分母是n-1），而估计值sigma=(n-1)/n C，是渐近无偏的估计

===========================================================================================

为什么样本方差（sample variance）的分母是 n-1？

--用数学证明，最有说服力！！！

首先，我们假定随机变量的数学期望 $\mu$ 是已知的，然而方差 $\sigma^2$ 未知。在这个条件下，根据方差的定义我们有
$\mathbb{E}\Big[\big(X_i -\mu\big)^2 \Big]=\sigma^2, \quad\forall i=1,\ldots,n,$

由此可得
$\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2$ .

因此 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2$ 是方差 $\sigma^2$ 的一个无偏估计，注意式中的分母不偏不倚正好是！
这个结果符合直觉，并且在数学上也是显而易见的。

现在，我们考虑随机变量的数学期望 $\mu$ 是未知的情形。这时，我们会倾向于无脑直接用样本均值 $\bar{X}$ 替换掉上面式子中的 $\mu$ 。这样做有什么后果呢？后果就是，
如果直接使用 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2$ 作为估计，那么你会倾向于低估方差！
这是因为：
$\begin{eqnarray}\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 &=&\frac{1}{n}\sum_{i=1}^n\Big[(X_i-\mu) + (\mu -\bar{X}) \Big]^2\\&=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +\frac{2}{n}\sum_{i=1}^n(X_i-\mu)(\mu -\bar{X})+\frac{1}{n}\sum_{i=1}^n(\mu -\bar{X})^2 \\&=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +2(\bar{X}-\mu)(\mu -\bar{X})+(\mu -\bar{X})^2 \\&=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 -(\mu -\bar{X})^2 \end{eqnarray}$
换言之，除非正好 $\bar{X}=\mu$ ，否则我们一定有
$\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 <\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2$ ,
而不等式右边的那位才是的对方差的“正确”估计！
这个不等式说明了，为什么直接使用 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2$ 会导致对方差的低估。

那么，在不知道随机变量真实数学期望的前提下，如何“正确”的估计方差呢？答案是把上式中的分母换成 n-1 ，通过这种方法把原来的偏小的估计“放大”一点点，我们就能获得对方差的正确估计了：
$\mathbb{E}\Big[\frac{1}{n-1} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2\Big]=\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2.$