机器学习之最大似然与最大后验的理解

机器学习之最大似然与最大后验的理解

一.MLE（最大似然估计）

在参数估计中有一类方法叫做“最大似然估计”,因为涉及到的估计函数往往是是指数型族,取对数后不影响它的单调性但会让计算过程变得简单,所以就采用了似然函数的对数,称“对数似然函数”。
  根据涉及的模型不同,对数函数会不尽相同,但是原理是一样的,都是从因变量的密度函数的到来,并涉及到对随机干扰项分布的假设。

1. 最大似然估计的概念:

1.对最大似然估计的理解：

最大似然估计提供了一种给定观察数据来评估模型数的方法，即：“模型已定，参
数未知“。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态
分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但
是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分
布的均值与方差.
最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。下
面我们具体描述一下最大似然估计：
首先，假设x1,x2,x3……xn为独立同分布的采样，θ为模型参数，f为我们所使用的模
型，遵循我们上述的独立同分布假设.参数为θ的模型f产生上述采样可表示为

那么MLE对 θ 的估计方法可以如下推导：