逻辑回归算法梳理

一、逻辑回归原理
逻辑回归(Logistic Regression, LR)又称为逻辑回归分析,是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。例如,我们可以将购买的概率设置为因变量,将用户的特征属性,例如性别,年龄,注册时间等设置为自变量,根据特征属性预测购买的概率。它是以逻辑函数为联系函数的线性模型。逻辑函数也称为Sigmoid函数,表达式如下:Sigmoid(Score)=1/(1+e^(-Score)).下图展示了该函数值随分数值变化的趋势:在这里插入图片描述
由图可以看出,对于负值,Sigmoid的返回值近似为零(或者非常接近于零);对于正值,Sigmoid的返回值近似为1.
二、逻辑回归与线性回归的联系与区别
a、联系:线性回归和逻辑回归都是用来描述自变量x和因变量Y之间的关系,或者说自变量X对因变量Y的影响程度。在这两种回归算法中,毫无例外,自变量都是影响我们目标结果的潜在因素。与此同时我们是可以通过线性回归来推导出逻辑回归的,因为大体上逻辑回归方程相比在线性回归的基础上增加了一个逻辑函数,我们是可以通过一些必要的步骤完成两种方程间的相互转化的。在优化方面,二者有大致共同的优化函数,如梯度下降法。
b、区别:(1)目的不同:在线性回归中因变量是我们想要的结果,即预测值,而在逻辑回归中我们得到的是概率分布图,即分类,通过概率分布图的观察我们才进一步得到想要的结果。(2)输入不同:二者输入的自变量是有一定的区别的。(3)y(i):前者未知,后者已知{0,1}。(4)所用函数不同:前者用拟合函数,后者用预测函数。将拟合函数做了一个逻辑函数的转换,转换后使得y(i)∈(0,1)就是预测函数了; (5)参数计算方式不同:线性回归使用最小二乘法,而逻辑回归使用最大似然估计法。最大似然估计是计算使得数据出现的可能性最大的参数,依仗的自然是Probability。而最小二乘法是计算误差损失。
三、逻辑回归损失函数推导及优化
a、此处说交叉熵损失函数的推导

  • 同线性回归,我们可以把我们的模型用概率表示:
    P(y(i)=1|x(i);θ)=hθ(x(i))P(y(i)=1|x(i);θ)=hθ(x(i))
    P(y(i)=0|x(i);θ)=1−hθ(x(i))P(y(i)=0|x(i);θ)=1−hθ(x(i))
  • 我们可以进一步把两式整合:
    P(y(i)|x(i);θ)=hθ(x(i))y(i)(1−hθ(x(i)))(1−y(i))P(y(i)|x(i);θ)=hθ(x(i))y(i)(1−hθ(x(i)))(1−y(i))
  • 同样我们可以把模型最优问题看做是极大似然估计问题:
    L(θ)=P(y⃗ |x;θ)=∏mi=1P(y(i)|x(i);θ)=∏mi=1hθ(x(i))y(i)(1−hθ(x(i)))(1−y(i))L(θ)=P(y→|x;θ)=∏i=1mP(y(i)|x(i);θ)=∏i=1mhθ(x(i))y(i)(1−hθ(x(i)))(1−y(i))
  • 还是去对数似然:
    logL(θ)=∑(i=1,m)y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))logL(θ)=∑(i=1,m)y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))
    则,得证交叉熵函数。
    b、优化:梯度下降法来求得使得交叉熵函数最小的参数。
    四、正则化与模型评估指标
    a、正则化(regularization)是模型选择的一种典型方法。是结构风险最小化的策略实现。它在经验风险上还加上了一个正则化项(regularizer)或罚项(penalty term),在这里,正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值就越大。公式如下:在这里插入图片描述
    正则化公式前一项即是经验风险,后一项为正则化项, 在这里大于或等于0 ,为调整经验风险项和正则化项之间关系的系数。
    正则化项可以有多种不同形式,比如在回归问题中,损失函数为平方损失,正则化项是参数向量的L2范数:
    在这里插入图片描述
    这里的||w||表示的是参数向量w的L2范数。
    当然正化项也可以是参数向量的L1范数,这样,正则化公式为:
    在这里插入图片描述
    在这里||w||1为参数向量的L1范数。
    这样一来,经验风险较小的模型可能比较复杂,含多个非零参数,于是第2项正则化项就会较大。正则化的目的就是为了选择经验风险与模型复杂度同时都比较小的模型。
    b、模型评估:(1)准确率(2)精准率和召回率(3)roc曲线:接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。等等
    五、逻辑回归的优缺点
    a、优点:
    (1)形式简单,模型的可解释性非常好。从特征的权重可以看到不同的特征对最后结果的影响,某个特征的权重值比较高,那么这个特征最后对结果的影响会比较大。
    (2)模型效果不错,如果特征工程做的好,效果不会太差。
    (3)训练速度较快。分类的时候,计算量仅仅只和特征的数目相关。
    b、缺点:
    (1)准确率并不是很高。因为形式非常的简单(非常类似线性模型),很难去拟合数据的真实分布。
    (2)很难处理数据不平衡的问题。举个例子:如果我们对于一个正负样本非常不平衡的问题比如正负样本比 10000:1.我们把所有样本都预测为正也能使损失函数的值比较小。但是作为一个分类器,它对正负样本的区分能力不会很好。
    (3)处理非线性数据较麻烦。逻辑回归在不引入其他方法的情况下,只能处理线性可分的数据
    六、样本不均衡问题解决办法
    a、增加数据 b、尝试产生人工数据样本 c、尝试其它评价指标 d、对数据集进行重采样 e、尝试不同的分类算法等
    参考资料:python之机器学习【印】阿布舍克著;机器学习之正则化与交叉验证 - 《致青春》——云梦泽 - CSDN博客;https://blog.csdn.net/gangyin5071/article/details/81280019
    https://blog.csdn.net/devcy/article/details/85925406 ;西瓜书【周志文】著。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值