极大似然估计

导语
统计学中，我们经常能听到极大似然估计，或者最大似然估计，它是一种参数估计方法。在机器学习中，逻辑回归就是基于极大似然估计来计算的损失函数。那么，如何直观理解极大似然估计？

极大似然估计
极大似然估计（maximum likelihood estimation，MLE），顾名思义，“极大”意为“最有可能的”，“似然”意为“看起来像的”，“估计”的意思则可以理解为“就是这样的”。

所以，极大似然估计的直译就是：最有可能看起来像的，就是这样的。就是说，以最大概率为标准来判断结果，即叫做极大似然估计。 

比如，在你面前出现一个白人，你来判断这个人来自哪个大洲。不出意外，你会说来自欧洲。这便是用了极大似然估计的思想。

了解了极大似然估计的思想，下面通过一个具体的例子来说明极大似然估计的求解步骤。

一个黑色箱子里有黑白两种颜色的小球若干，每次有放回的拿球，已知拿到白球的概率范围是[0.2，0.8]，拿三次结果两黑一白，问取出白球概率的极大似然估计是多少。

假设取球事件为y，取到白球时y=1，概率为p，取到黑球时y=0，概率为1-p。由于是独立事件，三次拿球两黑一白的概率可以表示为：P(y = 0 | p)P(y = 0 | p)P(y = 1 | p) = (1 - p)(1 - p)p = p^3 - 2p^2 + p。白球的极大似然估计就是求使得这个概率表达式最大的p值。 

既然是求最大值，而上式可导，我们便可对上式进行求导并令其等于0，3p^2 - 4p + 1 = 0。求此一元二次方程的根得p=1/3或p=1，可知原式在[0, 1/3]区间单调递增，在[1/3, 1]区间单调递减。因此，在白球概率范围[0.2，0.8]内，当p=1/3时表达式取得最大值，取得白球的概率的极大似然估计为1/3。

至此，便可总结出极大似然估计的求解步骤：

1> 写出概率表达式，也可以叫似然表达式，似然表达式值的大小意味着这组样本值出现的可能性的大小。 
2> 对似然表达式求导，必要时进行预处理，比如取对数（逻辑回归需要），令其导数为0，得到似然方程。 
3> 求解似然方程，得到的参数解即为极大似然估计的解。 

这里多说一句，由于逻辑回归的ω向量可能很大，参数个数很多，导致方程组很难求解。在这种情况下，一般通过梯度上升法逼近真实的ω，这也符合机器学习的训练过程。
以上便是极大似然估计的讲解，敬请期待下节内容。
--------------------- 
原文：https://blog.csdn.net/cherrylvlei/article/details/81608236