机器学习-----数学 ----最大似然估计

最大似然估计

最大似然估计是机器学习中比较重要的概率统计问题，这里将介绍比较重要几个和易混淆的问题：

1.首先确定采样是独立同分布的（i.i.d.）。
2. 在这里先假设，样本分布符合高斯分布。

独立性：

$\mathbb{P}(AB)=\mathbb{P}(A)\cdot \mathbb{P}(B)$

同分布：

保证了所有的样本点符合同一分布，这里假设为高斯分布,连续性分布，即$X\sim N(\mu ,{\sigma }^2)$。 注： 非连续性分布，过程类似。

样本

假设抽样了 X 1 , X 2 , X 3 . . . . , X 1 = { x 1 , x 2 , . . . x n } X_1,X_2,X_3....,X_1=\{x_1,x_2,...x_n\} X1​,X2​,X3​....,X1​={x1​,x2​,...xn​},所以$$\begin{gathered} f(x_1;\mu ,\sigma )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{1}{2{\sigma }^2}(x_1-\mu {)}^2}, \\ P(x_1;\mu ,\sigma )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{1}{2{\sigma }^2}(x_1-\mu {)}^2}d{x}_1 \\ P(X;\mu ,\sigma )={\prod }_{i=1}^{n}P(x_i;\mu ,\sigma )={\prod }_{i=1}^{n}f(x_1;\mu ,\sigma )d{x}_i \\ ={\prod }_{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2}\cdot {\prod }_{i=1}^{n}d{x}_i \end{gathered}$$

\
\

似然函数(Likelihood function，似乎是这样的函数)

\
由独立性和同分布性可得,这里我们用$L_m$表示联合概率密度分布,因为${\prod }_{i=1}^{n}d{x}_i$为定值与$\mu ,\sigma$无关这里说明了在最大似然估计中为啥不是概率分布，而是概率密度函数：

$L_m(\mu ,\sigma ;X_1)={\prod }_{i=1}^{n}f(x_1;\mu ,\sigma )={\prod }_{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2}$

由于连乘形式不好运算，所以我们两边同时取对数得，用$ l_m$ 取对数后的概率密度分布：

$l_m(\mu ,\sigma ;X_1)={\sum }_{i=1}^{n}lnf(x_1;\mu ,\sigma )=-\frac{n}{2}ln(2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu {)}^2$

最大似然估计（MLE）

这里我们取$\theta =(\mu ,\sigma )$,我们要得到使得似然函数$L_m$取得最大值的 、$\theta$ 的参数估计，即：$\hat{\theta }$，称为参数$\theta$的最大似然估计。
所以对上述似然方程求偏导得，尖帽表示估计值：
$$\begin{gathered} \frac{\partial l}{\partial \sigma }=\frac{\partial l}{\partial \mu }=0 \\ \hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i \\ \hat{\sigma }=\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu }{)}^2 \end{gathered}$$

所以可得参数$\theta$的最大似然估计值为$(\hat{\mu },\hat{\sigma })$
参数的$\theta$最大估计量：

$$\begin{gathered} \hat{\mu }=\bar{X} \\ \hat{\sigma }=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2 \end{gathered}$$