深度学习算法2-SVM的原理

1.SVM概述

   在机器学习领域，支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类(异常值检测)以及回归分析。

   其具有以下特征：

   (1)SVM可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。

  (2) SVM通过最大化决策边界的边缘来实现控制模型的能力。尽管如此，用户必须提供其他参数，如使用核函数类型和引入松弛变量等。

  (3)SVM一般只能用在二类问题，对于多类问题效果不好。

 

 

要求上述6.6的式子，需要使用拉格朗日乘子法

2.复习拉格朗日乘子法

 

 

 3.把原问题转化为对偶问题进行解决

ps： 对偶问题的证明

 4.SoftMargin

loss损失函数

 

 

 5.SMO算法