机器学习十大算法（五）SVM

一 简介

支持向量机是一种二分类模型，他的目的是寻找一个超平面来对样板进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划的问题来求解。由简至繁的模型包括：

1.当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机。

2.当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机。

3.当训练样本线性不可分时，通过核技巧和软间隔最大化，学习一个非线性支持向量机。

二 线性可分支持向量机

1.间隔最大化和支持向量

如果一个线性函数能够将样本分开，称这些数据样板是线性可分的。

那么什么是线性函数呢？其实很简单，在二维空间中就是一条直线，在三维空间中就是一个平面，以此类推，如果不考虑空间维数，这样的线性函数统称为超平面。

我们看一个简单的二维空间的例子，O代表正类，X代表负类，样本是线性可分的，但是很显然不只有这一条可以将样本分开，而是有无数条，我们所说的线性可分支持向量机就对应着能将数据正确划分并且间隔最大的直线。

SVM的目标是寻找一个超平面，使得离超平面较近的异类点之间能有更大的间隔，即不必考虑所有的样本点，只需让求得的超平面使得离它近的点间隔最大。

 

其中w为法向量，决定了超平面的方向，b为位移量，决定了超平面与原点的距离。假设超平面能将训练样本正确的分类，即对于训练样本(xi,yi)，满足以下公式：

公式（2）称为最大间隔假设，yi=+1表示样本为正样本，yi=−1表示样本为负样本，式子前面选择大于等于+1，小于等于-1只是为了计算方便，原则上可以是任意常数，但无论多少，都可以通过对w的变换使其为+1和-1，此时将公式（2）左右都乘yi，得到如下：

实际上等价于：

训练接中所有样本都应满足公式（3）。如下图所示，距离超平面最近的这几个样本点满足yi(wTxi+b)=1，它们被称为“支持向量”。虚线称为边界，两条虚线间的距离称为间隔。

下面我们开始计算间隔，其实间隔就等于两个异类支持向量的差在w上的投影，即：

最后可得：

至此，我们求得了间隔，SVM的思想是使得间隔最大化，也就是：

即：

公式（7）即为支持向量机的基本型。

2. 对偶问题

公式（7）本身是一个凸二次规划问题，我们对公式（7）使用拉格朗日乘子法得到其对偶问题，该问题的拉格朗日函数可以写为：

公式（8）分别对w和b求偏导：

另其分别为0，可以得到：

将公式（9）（10）带入公式（8），可得：

此时，原问题就转化为以下仅关于a的问题：

解出a之后，根据公式（9）可以求得w，进而求得b，可以得到模型：

上述过程的KKT条件为：

我们分析一下：对于任意的训练样本(xi,yi)

若αi=0，则其不会在公式（13）中的求和项中出现，也就是说，它不影响模型的训练。

若αi>0，则yif(xi)−1=0，也就是yif(xi)=1，即该样本一定在边界上，是一个支持向量。

这里显出了支持向量机的重要特征：当训练完成后，大部分的样本不需要保留，最终模型只与支持向量有关。

三 非线性支持向量机和核函数

对于非线性问题，线性可分支持向量机并不能有效解决，要使用非线性模型才能很好的分类。先看一个例子，如下图，很显然使用直线并不能将两类样本分开，但是可以使用一条椭圆曲线（非线性模型）将他们分开。非线性问题往往不好求解，所以希望能用线性分类问题的方法求解，因此可以采用非线性变换，将非线性问题变换成线性问题。

对于这样的问题，可以将训练样本从原始空间映射到一个更高维的空间，使得样本在这个空间中线性可分，如果原始空间维数是有限的，即属性是有限的，那么一定存在一个高维特征空间是样本可分的。令ϕ(x)表示将x映射后的特征向量，于是在特征空间中，划分超平面所对应的模型可表示为：

于是有最小化函数：

其对偶问题为：

若要对公式（16）求解，会涉及到计算ϕ(xi)Tϕ(xj)，这是样本xi和xj映射到特征空间之后的内积，由于特征空间的维数可能很高，甚至是无穷维，因此直接计算ϕ(xi)Tϕ(xj)通常是困难的，于是想到这样一个函数：

即xi和xj在特征空间中的内积等于他们在原始样本空间中通过函数κ(xi,xj)计算的函数值，于是公式（16）写成如下：

求解后得到：

这里的函数k就是核函数，在实际应用中，通常人们会从一些常用的核函数里选择（根据样本数据的不同，选择不同的参数，实际上就得到了不同的核函数），下面给出常用的核函数：

线性核，多项式核，高斯核，拉普拉斯核，sigmoid核。

选择核函数时：一是利用专家的先验知识预先选定核函数；二是采用cross-validation方法，即在进行核函数选取时，分别试用不同的核函数，归纳误差最小的核函数就是最好的核函数。