Logistic Regression (SGD)
Mahout中涉及到的算法
1 线性回归
了解逻辑回归之前先了解下线性回归:因变量和自变量之前存在线性关系。一般模型如下:
从一般模型可以看出Y和X(X1,X2,X3...)之间存在线性关系。线性回归的目的就是为了确定因变量和自变量的关系程度,换言之,就是求回归模型的参数。
2 逻辑回归
(1) why need it?
要说逻辑回归的优点,自然要先说下线性回归的缺点,主要有难以处理以下两个问题
a. 因变量Y如果不是数值型
b. 因变量与自变量不存在线性关系
(2) 逻辑回归的一般形式
P是概率,是某个事件发生的概率,处理类别属性,例如是否是男性,是否是色狼?
而且进行了logit变换。也就是说logit(P)与自变量之间存在线性关系,而p显然和X不存在线性关系。
那为什么是logit变换,不是XXX其他的变换,这里有一个前提假设:概率与自变量的关系往往是 S 型的曲线
(3)参数估计
模型有了,需要利用已知的样本来进行参数估计,最大似然估计用的比较多。mahout中用的是随机梯度下降法(SVD)。此处介绍下随机梯度下降法。
a. 梯度下降法
搜索寻优的一个过程,假定一个初始状态,然后不断更新,知道达到目标函数的极小值。其中 称为学习率,他决定梯度下降搜索的步长。算法流程如下:
b. 随机梯度下降
sgd解决了梯度下降的两个问题: 收敛速度慢和陷入局部最优。修正部分是权值更新的方法有些许不同。不做详细介绍。