数据挖掘知识点串烧:逻辑回归
本文为数据茶水间群友原创,经授权在本公众号发表。
关于作者:DD-Kylin,一名喜欢编程与机器学习的统计学学生,勤学好问,乐于钻研,期待跟大家多多探讨机器学习的相关内容~
0x00 前言
我们知道,回归模型可以解决因变量为连续变量的问题,但是,如果因变量为分类变量的话,用回归的方法就行不通了。这个时候我们就得选择用其他的分类方法了,如决策树、随机森林、SVM等。而本篇文章要说的逻辑回归也是一种很好的分类方法。我们需要明确的一点是,逻辑回归虽然是“回归”,但是它本质上是一种二分类算法,用来处理二分类问题的。
0x01 走近逻辑回归
问题1:你能说说什么是逻辑回归吗?
回答:逻辑回归是一种二分类算法,一般用来解决二分类问题,但是它也可以用来解决多分类问题,当使用它来解决多分类问题的时候,由于逻辑回归的特点,我们一般将多分类问题转化为二分类问题。这里多分类问题的转化有三种拆分策略,分别是一对一、一对其余和多对多。通过多分类拆分策略,我们可以使用逻辑回归来进行多分类问题的预测。但是这种方法我们一般不用,因为多分类问题我们可以使用随机森林、朴素贝叶斯、神经网络这些更好的算法进行预测。
问题2:逻辑回归是二分类算法,那它究竟是如何进行分类的?
回答:逻辑回归是通过判断数据属于某一类的概率值大小来决定要将该数据判为哪一类。这里需要引入sigmoid函数(Y = 1/(1+e-z) , 其中z = wTx+b