最大似然估计(MLE)
原理:设X1, X2…Xn是取自总体X的一个样本,样本的联合密度(连续型)或联合概率密度(离散型)为f(X1, X2…Xn; Θ)。当给定样本X1, X2…Xn时,定义似然函数为L(Θ)= f(X1, X2…Xn; Θ)。
L(Θ)看作参数Θ的函数,极大似然估计法就是用使L(Θ)达到最大值的去估计真实值Θ。L()=,称为Θ的极大似然估计(MLE)。
最大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独立同分布的。
基本思想:在已经得到试验结果(即样本)的情况下,估计满足这个样本分布的参数,将使这个样本出现的概率最大的那个参数Θ作为真参数Θ的估计。在样本固定的情况下,样本出现的概率与参数Θ之间的函数,称为似然函数。
一般步骤:
(1)由总体分布推导出样本的联合概率函数(或联合密度);
(2)将样本联合概率函数(或联合密度)中自变量看成一直常熟,把参数Θ看作自变量,得到似然函数L(Θ)。