SVM（支持向量机）

1.线性可分支持向量机

首先来说，支持向量机其实就是样本与超平面之间的间隔最大，其实是一个求最优问题。在说间隔最大的问题前，先说函数间隔和几何间隔。

1.1 函数间隔与几何间隔

对于给定的训练数据集T和超平面（w,b），定义超平面（w，b）关于样本点（xi,yi）的函数间隔为

定义超平面（w,b）关于训练数据集T的函数间隔为超平面（w,b）关于T中所有样本点（xi,yi）的函数间隔最小值，为：

函数间隔表示分类预测的正确性及确信度，但只有函数间隔还不够，因为若w,b变成2w,2b，超平面并没有变化，但是函数间隔变为原来的2倍，所以需要对w加约束，规范化||w|| = 1，即函数间隔转换成几何间隔。

几何间隔为：      

一般当样本点（xi,yi）被超平面（w,b）正确分类时，点xi与超平面（w,b）的距离为：

                 yi （）    

1.2间隔最大化

由上面发现几何间隔是，求最大间隔分离超平面，表示为带有约束最优化问题：

max 

s.t.  yi （）>=

函数间隔与几何间隔仅差除个||w||， = 

2.拉格朗日乘子法以及KKT条件

拉格朗日乘子法是一种优化算法，主要用来解决约束优化问题。他的主要思想是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有n+k个变量的无约束优化问题。

利用拉格朗日乘子法主要解决的问题为：等式的约束条件和不等式的条件约束。

对于非等约束条件的求解，需要满足KKT条件才能进行求解。下面对于KKT条件进行分析。

不等式约束优化问题：

得到拉格朗日乘子法的求解方程：

给出KKT条件：

3.为什么给出KKT条件？

我们引入拉格朗日函数L(x,α,β)将有约束的优化问题转换为无约束的优化问题，然后对原问题的参数求导，获得使拉格朗日函数最小的拉格朗日对偶函数g(α,β)，最后使得对偶函数最大的问题则成为原问题的对偶问题。（对偶函数给出了主问题最优解的下界。那么下界最大是什么，这就是主问题的对偶问题）

因此对于上面拉格朗日乘子法问题的描述表达为：

但其实是仍然个很难解决的问题，因为我们要先解决不等式约束的max问题，然后再在x上求最小值。怎么办呢？如果能把顺序换一下，先解决关于x的最小值，在解决关于α、β的不等式约束问题就好了。即，

假设原问题为p，对偶问题为d，事实上，p和d并不完全相等，此处含有一个性质：弱对偶性

即：

而他两个的差即为对偶间隙

解释：我们是想通过对偶问题求解原问题的最优解，所以只有当二者相等时才可能将原问题转化成对偶问题进行求解。消除对偶间隙，使p = d,需要满足一定条件，而这个条件便是 slater条件和KTT条件。

在凸优化理论中，有一个Slater定理，当这个定理满足，结合KKT条件，那么对偶间隙就会消失，就是强对偶性成立。