机器学习笔记7-支持向量机（2/3）

机器学习笔记6-支持向量机（2/3）

2. 线性支持向量机
   对于线性不可分数据，线性可分支持向量机不适用，因为其不等式约束并不能都成立。线性不可分意味着某些样本点$(x_i,y_i)$不能满足函数间隔大于等于一的约束条件，这时可对每个样本点$(x_i,y_i)$引入一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于一，此时约束条件为$y_i(w{x}_i+b)\ge 1-{\xi }_i$。同时对每个松弛变量${\xi }_i$支付一个代价，使目标函数变成$\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i$，$C$为惩罚参数，$C$值大时对误分类的惩罚增大，$C$值小时对误分类的惩罚减小。这样，线性不可分的线性支持向量机变成如下凸二次规划问题：
   $$\underset{w,b,\xi }{\min }\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i$$$$y_i(w{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0$$
   学习的对偶算法：以上原始问题的拉格朗日函数是：
   $$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w{x}_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$其中${\alpha }_i\ge 0,{\mu }_i\ge 0$。将$L(w,b,\xi ,\alpha ,\mu )$函数对$w,b,\xi$求偏导并令其为零，可得$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$，$\sum _{i=1}^N{\alpha }_i{y}_i=0$，$C-{\alpha }_i-{\mu }_i=0$。将这些代入$L(w,b,\xi ,\alpha ,\mu )$函数，即得对偶问题：
   $$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\bullet x_j)-\sum _{i=1}^N{\alpha }_i$$$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$C-{\alpha }_i-{\mu }_i=0$$若${\alpha }^{\ast }=({\alpha }_{{}_1}^{\ast },{\alpha }_{{}_2}^{\ast },...,{\alpha }_{{}_N}^{\ast }{)}^T$是对偶问题的解，则存在$C>{\alpha }_{{}_j}^{\ast }>0$，使得原始问题的解为：$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$，$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$。由于对与任一满足$C>{\alpha }_{{}_j}^{\ast }>0$条件的${\alpha }_{{}_j}^{\ast }$都可求出一个$b^{\ast }$，因此$b$的解是不唯一的。将对偶问题的解${\alpha }^{\ast }=({\alpha }_{{}_1}^{\ast },{\alpha }_{{}_2}^{\ast },...,{\alpha }_{{}_N}^{\ast }{)}^T$中对应于${\alpha }_{{}_j}^{\ast }>0$的样本点称为支持向量。

3. 非线性支持向量机
   （1）核技巧：假设$\chi$是输入空间（欧式空间$R^n$的子集），$H$为特征空间（希尔伯特空间），若存在一个从$\chi$到$H$的映射$\varphi (x):\chi \to H$，使得对所有$x,z\in \chi$，函数$K(x,z)$满足条件$K(x,z)=\varphi (x)\cdot \varphi (z)$，则称$K(x,z)$为核函数，$\varphi (x)$为映射函数，式中$\varphi (x)\cdot \varphi (z)$为内积操作。核技巧的想法是，在学习和预测中只定义核函数$K(x,z)$，而不显示地定义映射函数$\varphi (x)$。当给定了核函数$K(x,z)$时，映射函数$\varphi (x)$并不唯一。
   前面说到，对于线性支持向量机，无论目标函数还是决策函数（分离超平面），都只涉及到输入实例与实例之间的内积。而内积$x_i\cdot x_j$可以用核函数$K(x,z)=\varphi (x)\cdot \varphi (z)$来代替，此时对偶问题就会变为：
   $$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$分离超平面中的内积也可以用核函数代替$\sum _{i=1}^N{\alpha }_{{}_i}^{\ast }{y}_{i}K(x,x_i)+b^{\ast }$。
   在以上操作中，将输入空间中的内积$x_i\cdot x_j$变换为特征空间中的内积$\varphi (x_i)\cdot \varphi (x_j)$，在新的特征空间里从训练样本中学习线性支持向量机。当映射函数是非线性函数时，学习到的含有核函数的支持向量机是非线性分类模型。也就是说，在核函数$K(x,z)$给定条件下，可以利用线性分类问题的方法求解非线性分类问题的支持向量机。学习是隐式地在特征空间中进行，不需要显示地定义特征空间和映射函数。这样的技巧称为核技巧，它是巧妙地利用线性分类学习方法与核函数解决非线性问题的技术。
   （2）正定核：通常所说的核函数就是正定核。如何判断一个给定的函数$K(x,z)$是不是正定核？可以证明，$K(x,z)$是正定核的充要条件是$K(x,z)$对应的Gram矩阵$K=[K(x_i,x_j{)]}_{{}_{m\times m}}$是半正定矩阵。而对于检验核函数是否为正定核函数并不容易，所以一般会应用已知核函数。
   （3）常用核函数：多项式核函数，$K(x,z)=(x\cdot z+1{)}^p$；高斯核函数，$K(x,z)=\exp (-\frac{{\Vert x-z\Vert }^2}{2{\sigma }^2})$；字符串核函数，核函数不仅可以定义在欧式空间，还可以定义在离散数据的集合上，这在文本分类、信息检索、生物信息学等方面都有应用。

4. 序列最小最优化算法（SMO）
   SMO算法要求解凸二次规划的对偶问题：
   $$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$0\le {\alpha }_i\le C$$基本思路：若所有变量的解都满足此最优化问题的KKT条件，那么这个最优化问题的解就得到了。因为KKT条件是该最优化问题的充分必要条件。否则，选择连个变量，固定其它变量，针对这两个变量构建一个二次规划问题。这时子问题就可以通过解析方法求解，这样就可以大大提高整个算法的计算速度。子问题有两个变量，一个是违反KKT条件最严重的那个，另一个由约束条件自动确定。如此，SMO算法将原问题不断分解为子问题并对子问题进行求解，进而达到求解原问题的目的。整个算法包括两个部分：求解两个变量二次规划的解析方法和选择变量的启发式方法。