sigmoid函数是如何诞生的（最大熵原理）

      由于工作的原因没有在学校里那么多学习的时间，对于很多基础知识纠结好久还是觉得应该记录下来，于是就打开了好多年没用的csdn，开始记录下自己的偶尔的学习过程，希望能以此勉励自己。当然第一篇博客，自然逼格不能低，先来谈谈自己一直很好奇的，大牛们熟的不能再熟的sigmod函数究竟是怎么得来的。

      很多人可能会说，懵的？那你怕是石乐志，其实很多地方都有解释这个函数为什么好，但始终没有给出这个玩意儿到底是怎么出来的。话不多说，先给结论：最大熵原理

      对于最大熵原理，首先给出一个定理：对于概率模型而言，在缺乏先验的情况下，条件熵最大的模型是最好的模型。很好理解，熵最大意味着不确定度最高，在没有先验知识情况下，自然这是最好的假设（注意和决策树中特征选择时的熵区分）

      好，下面开始装逼（推导主要参考了统计学习方法）

      首先，明确我们的目标：条件熵最大：

这里上面波浪号可以理解为是联合概率密度和样本特征分布已知（根据样本先验可知）&#x