从拉格朗日乘子法到SVM

前言

本文主要是讲了如何构建SVM的模型，并利用KKT条件构造其对偶型，从而求解问题，并讲述了SVM的硬间隔，软间隔和核函数三个境界。主要参考了周志华的《机器学习》，并在其中补充了自己的想法。由于内容较多，所以很多细节都省略掉了，只留下了整体的框架，该说的东西应该都说了。

SVM基本型

首先，我们先假设一个数据集线性可分的情况，也就是硬间隔的情况，如下图所示。

图1：线性可分情况 可以看到，数据集可以被无数条直线正确划分为两类，然而我们希望找到其中最好的一条线来划分这两个数据集，这条直线最好有较好的泛化能力，也就是说在面对未知的数据集的时候，也能够较为正确地划分数据，有较强的抗干扰性。那么怎么样的直线是最好的呢？我们来看下下面这幅图（此图出自林轩田的机器学习技法）。

图2：划分方式抗干扰能力比较 从图中看出，我们假设每个数据点都带有一定的噪声，也就是说在数据点周围的灰色区域可能都是和这个数据点相同类型的数据点，只不过因为某些噪声干扰产生了一些偏移，就是有方差的意思。那么上图中的第三种情况是最能容忍这种噪声的，也就是我们最希望得到的划分方式。 换另一种方式来说，假设我们有一条直线或超平面$w^Tx+b=0$正确划分了数据集，将直线分别往上方和下方平移，直到碰到数据点，我们假设网上和往下平移的截距是相同的，比如都是$a$（如果不同的话就平移一下$w^Tx+b=0$，即改变$b$的值，总能找到满足条件的一条$w^Tx+b=0$）。

$$\{\begin{array}{l}{w}^{T}x+b=a\\ w^{T}x+b=-a\end{array}$$

为了之后方便处理，我们统一一下，将等式两边同时除以一个$a$，即

$$\{\begin{array}{l}w:=w/a\\ b:=b/a\end{array}$$

于是，我们现在就有三条直线或超平面

$$\{\begin{array}{l}{w}^{T}x+b=1\\ w^{T}x+b=0\\ w^{T}x+b=-1\end{array}$$

如下图所示。

图3：支持向量与间隔 其中，在直线上的点就被称为支持向量。我们现在的目的就是找到使得$w^Tx+b=1$和$w^Tx+b=-1$之间距离最大的参数$w$和$b$。 那个这个距离，或者说这个间隔怎么求呢？这就要用到我们的支持向量了，这个间隔是由它们决定的。 假设有支持向量$x_1$和$x_2$分别满足

$$\{\begin{array}{l}{w}^T{x}_1+b=1\\ w^T{x}_2+b=-1\end{array}$$

两式相减则有

$$w\cdot (x_1-x_2)=2$$

注意到$w$，$x_1$，$x_2$都是向量，那么由向量点乘的性质可以得到

$$||w||\cdot ||x_1-x_2||\cdot cos\theta =2$$

注意到了吗？这里的$||x_1-x_2||\cdot cos\theta$就是间隔，不信可以自己画下图看。于是

$$d=||x_1-x_2||\cdot cos\theta =\frac{2}{||w||}$$

我们假设现在是一个二分类问题，两类分别标记为 { + 1 , − 1 } \{+1, -1\} {+1,−1}，于是现在问题就转化为了

$$\begin{gathered} {\max }_{w,b}\frac{2}{||w||} \\ s.t.\{\begin{array}{l}{y}_i=1,w^T{x}_i+b\ge 1\\ y_i=-1,w^T{x}_i+b\le -1\end{array} \end{gathered}$$

将式子合起来并将求最大改成求最小则是

$$\begin{gathered} {\min }_{w,b}\frac{||w|{|}^2}{2} \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m \end{gathered}$$

这就是SVM的基本型。
这是一个凸二次规划问题，可以直接解决，但效率不高，我们希望找到更高效的方法，所以就去找它的对偶问题。这也是求不等式约束求极值的通用手段。
既然都讲到这里了，干脆先把拉格朗日乘子法和KKT条件都给讲了。

拉格朗日乘子法

拉格朗日乘子法针对的是等式约束，基本形式如下：

$$\begin{gathered} {\min }_{x}f(x) \\ s.t.h_i(x)=0,i=1,2,...,m \end{gathered}$$

拉格朗日乘子法做的就是将约束条件添加到目标函数当中，使其变成一个无约束优化问题。可以这么做的原因是，只要满足$h_i(x)=0$，那么不管加多少个都是不改变目标值的。

$${\min }_{x,\lambda }L(x,\lambda )=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)$$

我们假设$x$有$p$个特征，那么上式的极值点有如下的必要条件

$$\{\begin{array}{l}\frac{\partial L}{\partial x_k}=\frac{\partial f}{\partial x_k}+{\sum }_{i=1}^m{\lambda }_i\frac{\partial h_i(x)}{\partial x_k}=0,k=1,2,...,p\\ \frac{\partial L}{\partial {\lambda }_i}=h_i(x)=0,i=1,2,...,m\end{array}$$

上式有$p$个$x_k$和$m$个${\lambda }_i$是待求的参数（$k+m$个未知数），同时有$p+m$个等式方程，所以是可以求解得到$x_k$和${\lambda }_i$的值。
值得注意的是，以上的只是必要条件，并不是充分条件，所以求得结果后最好再检验一下（虽然实际情况下都忽略了这一步）。

KKT条件

KKT条件是在拉格朗日乘子法的基础上多了不等式的约束，其针对的问题的基本型如下所示。

$$\begin{gathered} {\min }_{x}f(x) \\ s.t.\{\begin{array}{l}{h}_i(x)=0,i=1,2,..,m\\ g_j(x)\le 0,j=1,2,...,n\end{array} \end{gathered}$$

其对偶型为

$${\min }_{x,\lambda ,\mu }L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^n{\mu }_j{g}_j(x)$$

此时最优解要满足的条件为

$$\{\begin{array}{l}\frac{\partial L}{\partial x_k}=\frac{\partial f}{\partial x_k}+{\sum }_{i=1}^m{\lambda }_i\frac{\partial h_i(x)}{\partial x_k}+{\sum }_{j=1}^n{\mu }_j\frac{\partial g_j(x)}{\partial x_k}=0,k=1,2,...,p\\ \frac{\partial L}{\partial {\lambda }_i}=h_i(x)=0,i=1,2,...,m\\ {\mu }_j{g}_i(x)=0,j=1,2,...,n\\ {\mu }_j\ge 0,j=1,2,...,n\end{array}$$

至于为什么是这样，参考一下这个吧，这里偷下懒。

SVM对偶问题

我们再来回顾一下我们得到的SVM基本型。

$$\begin{gathered} {\min }_{w,b}\frac{||w|{|}^2}{2} \\ s.t.1-y_i(w^T{x}_i+b)\le 0,i=1,2,...,m \end{gathered}$$

很显然，这是一个只有不等式的约束的KKT条件问题。
于是，我们可以将问题转化为

$${\min }_{w,b,\alpha }L(w,b,\alpha )=\frac{||w|{|}^2}{2}+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))$$

这个时候最优解满足的条件为

$$\{\begin{array}{l}\frac{\partial L}{\partial w}=w-{\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i=0\\ \frac{\partial L}{\partial b}={\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ {\alpha }_i(y_{i}f(x_i)-1)=0,i=1,2,...,m\\ {\alpha }_i\ge 0,i=1,2,...,m\end{array}$$

值得注意的是，这里的$w$，$x$都是向量，$f(x_i)=w^T{x}_i+b$。
我们将上述方程组的前2个带入到原问题中，消去参数$w$和$b$，则原问题转化为

$${\min }_{\alpha }L(\alpha )=\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i$$

这个时候，仍然需要满足

$$\{\begin{array}{l}{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0,i=1,2,...,m\\ {\alpha }_i(y_{i}f(x_i)-1)=0,i=1,2,...,m\end{array}$$

这个时候，我们就可以用一个叫做SMO的算法来求解$\alpha$，这里不详细介绍这种算法了，不然篇幅太长了。求得$\alpha$之后，可以通过$w-{\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i=0$这个式子来求得$w$，而剩下的一个参数$b$则要通过支持向量代入求解。

软间隔

有时候，噪声太大，会因为某几个点而产生线性不可分的情况。这个时候，就要引入软间隔这个概念了。说白了，就是我们允许某些点是可以被错误分类的，但这种错分的情况要尽可能地少。

图4：软间隔示意图 所以，我们引入了松弛变量和惩罚函数。

$$\begin{gathered} {\min }_{w,b}\frac{||w|{|}^2}{2}+C\sum _{i=1}^m{ϵ}_i \\ s.t.y_i(w^T{x}_i+b)\ge 1-{ϵ}_i,{ϵ}_i\ge 0,i=1,2,...,m \end{gathered}$$

容易看出，当$C$为无穷大的时候，就成了硬间隔的状态；当$C$越小的时候，允许被错分的点就越多。
同样是利用KKT条件，我们可以得到其对偶问题

$$\begin{gathered} {\max }_{\alpha }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\{\begin{array}{l}{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,...,m\end{array} \end{gathered}$$

同样地，这也是可以利用SMO算法求解的，这里不详细介绍。

核函数

以上问题是针对线性可分，或者是针对由于噪声而产生的个别点线性不可分，总体线性可分的情况。那么对于下图左这样本来就线性不可分的数据集该怎么处理呢？

图5：非线性映射 没错，就像上图所示的这样，我们把低维的样本空间映射到一个更高为的空间，使得样本点在高维空间上线性可分。我们用$\phi(x)$表示映射后的特征向量，于是，在特征空间中超平面所对应的模型为

$$f(x)=w^T\varphi (x)+b$$

类似上述的问题，我们有

$$\begin{gathered} {\min }_{w,b}\frac{||w|{|}^2}{2}+C\sum _{i=1}^m{ϵ}_i \\ s.t.y_i(w^T\varphi (x_i)+b)\ge 1-{ϵ}_i,{ϵ}_i\ge 0,i=1,2,...,m \end{gathered}$$

其对偶问题为

$$\begin{gathered} {\max }_{\alpha }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j) \\ s.t.\{\begin{array}{l}{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,...,m\end{array} \end{gathered}$$

但是，这样的处理会导致维度灾难，也就是说本来几百维的一个东西会变成几千维，这样的计算量是无法接受的。于是，核函数就出现了，核函数是在低维空间上计算高维空间点积的一种方法，大大减少了数据量，也就是说，我们完全不用考虑$\varphi (x)$是什么东西就能够计算$\varphi (x_i{)}^T\varphi (x_j)$我们将核函数记作

$$\kappa (x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$$

常用的核函数有如下几种，这里不详细介绍核函数。

表1：常用核函数

于是，我们的问题就转化为了

$$\begin{gathered} {\max }_{\alpha }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j) \\ s.t.\{\begin{array}{l}{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,...,m\end{array} \end{gathered}$$

利用上式我们可以求出$\alpha$，然而，这并没有什么卵用。由于我们不知道$\varphi (x)$是什么，所以仍旧求不出$f(x)=w^T\varphi (x)+b$。
真的是这样吗？别急。
在求对偶型的过程当中，我们会求$\frac{\partial L}{\partial w}$对吧。由该式我们可以知道

$$w=\sum _{i=1}^m{\alpha }_i{y}_i\varphi (x_i)$$

我们将其代入$f(x)$可得

$$\begin{gathered} f(x)=w^T\varphi (x)+b \\ =\sum _{i=1}^m{\alpha }_i{y}_i\varphi (x_i{)}^T\varphi (x)+b \\ =\sum _{i=1}^m{\alpha }_i{y}_i\kappa (x,x_i)+b \end{gathered}$$

这样不就求出来了吗！核函数是不是很神奇！

结束语

本文讨论了SVM是怎么来的，以及硬间隔，软间隔，核函数这三个SVM的核心问题。许多细节都省略了，只留下了整体框架。
如有不足，还请指正~

参考文献

[1] 周志华. 机器学习 : = Machine learning[M]. 清华大学出版社, 2016.
[2] http://www.onmyphd.com/?p=lagrange.multipliers
[3] http://www.onmyphd.com/?p=kkt.karush.kuhn.tucker