SVM和逻辑回归的对比

 两种方法都是常见的分类算法，其中心思想都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。两者的根本目的都是一样的。

 

比较：      
0、LR给出了后验概率，SVM只有01分类，没有后验概率
1、LR采用logistic损失（误差平方和损失），SVM采用合页（Hinge）损失。（损失函数是二者的本质区别）
2、LR对异常值敏感；SVM对异常值不敏感，泛华能力强，分类效果好。
3、在训练集较小时，SVM较适用，而LR需要较多的样本。
4、LR模型找到的那个超平面，是尽量让所有点都远离他，而SVM寻找的那个超平面，是只让最靠近中间分割线的那些点尽量远离，即只用到那些支持向量的样本。
5、对非线性问题的处理方式不同，LR主要靠特征构造，必须组合交叉特征，特征离散化；SVM也可以这样，还可以通过kernel，kernel很强大。
6、LR相对来说模型更简单，好理解，实现起来，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固，有一套结构化风险最小化的理论基础.

 

SVM优缺点：

优：泛化错误率低，计算开销不大，结果易解释。

缺：SVM对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。

 

Logistic优缺点：

优：计算代价不高，易于理解和实现。

缺：容易欠拟合，分类精度可能不高。