二项分布的对数似然函数与交叉熵（cross entropy）损失函数的联系

       今天复习Logistic回归的时候涉及到二项分布的求最大似然解，突然发现这个对数似然函数熟悉，似曾相识，不就是交叉熵损失函数么，难道这仅仅是巧合，不能够。先看下这个推导。

1. 二项分布（0-1分布）：

2. 最大似然估计法：

 

3. 求解最大似然估计量：

这里我们主要看下标记处的对数似然函数，是不是很熟悉？

交叉熵代价函数(cross-entropy cost function)

后边上网找了下，发现了这片博文：https://blog.csdn.net/lanchunhui/article/details/75433608。算是一个解释吧。接下来要学习下latex了，这样排版太丑了。

 

参考：

概率论与数理统计 浙大版