最大似然估计、最大后验估计和贝叶斯估计的关系

        最大似然估计（MLE）

        原理：设X₁, X₂…Xn是取自总体X的一个样本，样本的联合密度（连续型）或联合概率密度（离散型）为f(X₁, X₂…Xn; Θ)。当给定样本X₁, X₂…Xn时，定义似然函数为L(Θ)= f(X₁, X₂…Xn; Θ)。

        L(Θ)看作参数Θ的函数，极大似然估计法就是用使L(Θ)达到最大值的去估计真实值Θ。L()=，称为Θ的极大似然估计（MLE）。

        最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。

        基本思想：在已经得到试验结果（即样本）的情况下，估计满足这个样本分布的参数，将使这个样本出现的概率最大的那个参数Θ作为真参数Θ的估计。在样本固定的情况下，样本出现的概率与参数Θ之间的函数，称为似然函数。

        一般步骤：

        （1）由总体分布推导出样本的联合概率函数（或联合密度）；

        （2）将样本联合概率函数（或联合密度）中自变量看成一直常熟，把参数Θ看作自变量，得到似然函数L(Θ)。