LR,SVM,RF的区别

1、LR和SVM都是分类算法，LR和SVM都是监督学习算法，都是判别模型。

2、如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。

LR的优缺点：

1.适合需要得到一个分类概率的场景

2.实现效率较高

3.对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决；

4.逻辑回归广泛的应用于工业问题上

逻辑回归的缺点：

1.当特征空间很大时，逻辑回归的性能不是很好；

2.不能很好地处理大量多类特征或变量；

4.对于非线性特征，需要进行转换；

5.依赖于全部的数据特征，当特征有缺失的时候表现效果不好。

SVM的优点：

1.能够处理大型特征空间

2.能够处理非线性特征之间的相互作用

3.无需依赖整个数据

SVM的缺点：

1.当观测样本很多时，效率并不是很高

2.有时候很难找到一个合适的核函数

为此，我试着编写一个简单的工作流，决定应该何时选择这三种算法，流程如下：

首当其冲应该选择的就是逻辑回归，如果它的效果不怎么样，那么可以将它的结果作为基准来参考；

然后试试决策树（随机森林）是否可以大幅度提升模型性能。即使你并没有把它当做最终模型，你也可以使用随机森林来移除噪声变量；

如果特征的数量和观测样本特别多，那么当资源和时间充足时，使用SVM不失为一种选择。

决策树的优点：

1.直观的决策规则

2.可以处理非线性特征

3.考虑了变量之间的相互作用

决策树的缺点：

1.训练集上的效果高度优于测试集，即过拟合[随机森林克服了此缺点]

2.没有将排名分数作为直接结果