极大似然估计

1.“极大似然估计”描述

似然函数：是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。
极大似然估计：当似然函数取得最大值时的参数值，即为要估计的模型参数。

2.问题描述

已知：某个随机变量的一组样本数据$D=\{x_1,x_2,...,x_n\}$，该数据服从某种以$\theta$为参数的随机分布。
目标：如何根据样本数据估计得到参数$\theta$。

3.模型推导

极大似然估计法认为参数是固有的，但是可能由于一些外界噪声的干扰，使数据看起来不是完全由参数决定的。没关系，数学家们觉得，虽然有误差存在，但只要让在这个数据给定的情况下，找到一个概率最大的参数就可以了。那问题其实就变成了一个条件概率最大的求解，即求使得p(θ|D) 最大的参数θ，形式化表达为求解 ：

                                argmaxθp(θ|D)------------(1)

而根据条件概率公式有

                          L(D|θ)=p(θ|D)=p(D|θ)p(θ)p(D).---------(2)

因为我们在极大似然估计中假设 θ 是确定的，所以p(θ)就是一个常数。p(D) 同样是根据已有的数据得到的，也是确定的，或者我们可以把其看作是对整个概率的一个归一化因子。这时候，求解公式(1) 就变成了求解

                               argmaxθp(D|θ)--------------(3)

的问题。
(3) 式中的p(D|θ) 就是似然函数，我们要做的就是求一个是似然最大的参数，所以称为极大似然估计。
想求解这个问题，需要假设我们的数据是相互独立的。D={x1,x2,x3,…,xn}，这时候有

                          p(D|θ)=∏i=1np(xi|θ)，----------(4)

一般对(4)式取对数求解对数极大似然，就可以把连乘变成求和，然后求导取极值点就是要求
l(θ|D)=lnL(D|$\theta$)=$\sum_ip(x_i|\theta)$

4.应用举例

假设一个抛硬币实验，我们之前不知道这些硬币是不是正反均匀的，也许硬币正反不等，假设正面向上设为1的概率为ρ，反面向上设为0为（1−ρ）. 我们进行了3次实验，得到两次正面，一次反面，即序列为′110′。这里，D=(1,1,0)，θ=ρ。

用极大似然估计求解$\theta$

   L(θ|D)=p(D|θ)=p(x1|ρ)p(x2|ρ)p(x3|ρ)=p(1|ρ)p(1|ρ)p(0|ρ)=ρ∗ρ∗(1−ρ)--(5)

然后使用对数极大似然估计就可以得到参数ρ 的值了。