逻辑斯蒂回归和感知机模型、支持向量机模型对比

同样都用到了分离超平面，但是如何利用这个分离超平面有所区别。

• 感知机模型将分离超平面对数据分割，寻找出所有错误的分类点，计算这些点到超平面的距离，使这一距离和最小化，也就是说感知机模型的最优化问题是使得错误分类点到超平面距离之和最小化。
• 逻辑斯蒂回归是将分离超平面作为sigmoid函数的自变量进行输入，获得了样本点被分为正例和反例的条件概率，然后用极大似然估计极大化这个后验概率分布，也就是说逻辑斯蒂回归模型的最优化问题是极大似然估计样本的后验概率分布。
• 支持向量机的最优化问题是最大化样本点到分离超平面的最小距离。

三个算法的一些性能对比如下：

• 1感知机模型计算简单，只需要计算错误样本点和标签的乘积对参数进行更新。其在线性可分的数据集中收敛，但在线性不可分的数据集中不收敛。
• 2逻辑斯蒂回归相比感知机多了一层sigmoid函数的计算，计算仍然十分高效。其在线性可分的数据集中不能收敛但可以加入正则化来使算法收敛，在线性不可分的数据集中可以较好的收敛。
• 3支持向量机计算相对复杂，但因为其实凸优化问题，因此算法一定可以收敛。
• 4感知机模型无法加入核方法映射到高维，而逻辑斯蒂回归和支持向量机都能通过核方法对低维不可分高维可分的数据集进行分类。
• 5感知机模型和支持向量机模型可以通过二分类方法的扩展处理多分类问题，方法是对每一类都产生一个分离超平面区分该类和其他类的样本。逻辑斯蒂回归进行多分类问题通过选择最后一个类为基准类，构造k-1个分离超平面（分类器），k-1个分类器计算sigmoid函数值求和在加1作为投票法的分母，每个分类器计算的sigmoid函数值作为分子进行投票，选出最大的分配到该类别。