LR与SVM以及线性回归的区别于联系

 文章最前： 我是Octopus，这个名字来源于我的中文名--章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ；这博客是记录我学习的点点滴滴，如果您对 Python、Java、AI、算法有兴趣，可以关注我的动态，一起学习，共同进步。

LR与SVM的联系与区别

相同点：

     1）LR与SVM都是分类算法

     2）LR与SVM都是监督学习算法

     3）LR与SVM都是判别模型

     4）如果不考虑核函数，LR与SVM都是分类算法，也就是说他们的分类决策都是线性的。

不同点：

     1)损失函数不同

     2）SVM只考虑支持向量，而LR考虑全局

     3）在解决非线性问题，SVM采用核函数的机制，而LR通常不采用核函数的方法

    4）LR是参数模型，SVM是非参数模型，本质不同

    5）在训练集较小时，SVM比较合适，而LR需要较多的样本

LR与线性回归的联系与区别：

     1）LR与线性回归都是属于广义的线性回归

     2）线程回归模型的优化目标函数是最小二乘，而LR则是依然函数

     3）线性回归主要做预测，LR主要做分类（如：二分类）

     4）LR的模型本质上是一个线程回归模型，逻辑回归模型无法做到sigmoid的非线程形式，sigmoid可以轻松处理0/1分类问题。

     5）线程回归在整个实数范围内进行预测，敏感度一致，而分类范围，需要在【0，1】。逻辑回归就是一种减小预测范围，将预测值限定为【0，1】间的一种回归模型，而对于这类问题来说，逻辑回归的鲁棒性比线性回归的要好。