逻辑回归(logistic regression)
逻辑回归(LogisticRegression)是机器学习中的一种分类模型,由于算法的简单和高效,在实际中应用非常广泛。它虽然它名字里面有“回归”两个字,却不是一个回归算法,而是一个分类模型,它是被用来做分类的。之所以称之为回归,是因为它的学习的是模型模型的参数以最佳拟合已有的数据。(比如,根据已有的一些点,回归出它的直线参数的拟合过程,就称之为回归。)逻辑回归其实仅为在线性回归的基础上,套用了一个逻辑函数。
一.逻辑回归模型的优缺点:
1. 优点:训练快、易理解、易实现、可用于概率预测,也可用于分类、各feature之间不需要满足条件独立假设,但各个feature的贡献是独立计算的;
2. 缺点:模型不够强大、拟合能力有限,欠拟合,对于复杂的任务效果不够好、仅能用于线性问题;
二.介绍一下逻辑回归所用到的Sigmoid函数:
由图可知,sigmoid的函数输出是介于(0,1)之间的,中间值是0.5。当x>0时,输出值大于0.5,归于A类;当x<0时,输出值小于0.5,归于B类;当x=0时可自己规定属于哪一类。
三.构造预测函数
对于样本容为m的数据,每个样本有n个特征(feature)X和一个输出y,即 。