回归原理解析

logistic回归是概率型的非线性二分类模型，可用于判断某个问题是否发生的可能性。而logistic分布函数定义为：

这里的z由下面的公式给出：

所以求logistic回归的关键就是求向量w的最优解，在这里我们可以采用随机梯度上升法来求。而随机梯度上升法的迭代公式为：

这里的alpha陈伟步长。该公式一直被迭代执行，直到达到某个停止条件为止，比如迭代次数达到某个制定的值或算法达到某个可以允许的误差范围。下面是《机器学习实战》上关于随机梯度上升法求向量W的方法：

图中被红线圈起来的就是求向量W的迭代算法。

下面先讲一下如何求

考虑n个独立变量的向量

设条件概率为给定条件下发生的概率

条件概率为给定条件下不发生的概率

所以得到一个观测值的概率表示为

因为各个样本点相互独立，所以它们的联合概率分布为各边缘分布的乘积

对该函数取对数

到其中某个w值求导的过程如下：

所以得到

红线圈起来的部分结合上面迭代求W向量的代码截图中圈起来的部分，就不难理解整个迭代求解的过程了。呵呵，这是我在学习的过程中的理解，有无错的地方还让大家多多指教啦。