支持向量机—SMO算法

背景

SVM 的学习问题可以形式化为如下凸二次规划的对偶问题：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$
在这个问题中，变量是拉格朗日乘子，一个变量${\alpha }_i$ 对应一个样本点$(x_i,y_i)$，变量总数等于训练样本总数。这个问题我们通过序列最小最优算法(SMO)来解决。

SMO算法思路：选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题，这两个变量分别是：（1）违反KTT条件最严重的那个。（2）另一个由约束条件确定。

SMO算法包括下面两个部分：

1. 求解两个变量二次规划的解析方法
2. 选择变量的启发式方法

两个变量二次规划的求解方法

假设选择两个变量是${\alpha }_1,{\alpha }_2$ ，其他变量${\alpha }_i(i=3,4\dots ,N)$ 是固定的。固定项为常数，可以直接省略。所以SMO的最优化问题可以写成：
$$\begin{array}{rl}\underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=& \frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2\\ & +({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{il}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}\\ s.t.& {\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i=\varsigma \\ & 0⩽{\alpha }_i⩽C,i=1,2\end{array}$$
其中，$K_{ij}=K(x_i,x_j),\varsigma$ 是常数。 最优化问题有两个约束：不等式约束和等式约束。

根据约束条件${\alpha }_1{y}_1+{\alpha }_2{y}_2=k$ ，$y_i$ 的取值只能是1，-1。 且$0⩽{\alpha }_i⩽C,$ 所以$({\alpha }_1,{\alpha }_2)$ 在平行于盒子$[0,C]\times [0,C]$ 的对角线上。如下图所示：

因此要求的目标函数在一条平行于对角线的线段的最优值。这使得两个变量的最优化问题成为实质上的单变量优化问题（${\alpha }_1=k-{\alpha }_2$）。

假设原始问题的初始可行解为${\alpha }_1^{old},{\alpha }_2^{old}$，本次迭代的最优解为${\alpha }_1^{new},{\alpha }_2^{new}$，假设沿着约束方向${\alpha }_2$未经剪辑(未考虑不等式约束)的解是${\alpha }_2^{new,unc}$ 。

由于设L、H为${\alpha }_2^{new}$ 所在对角线的端点。则 ${\alpha }_2^{new}$ 的取值范围必须满足条件：
$$L\le {\alpha }_2^{new}\le H$$
当$y_1\ne y_2$ 时，如上左图，则：
$$L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old})H=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$
当$y_1=y_2$ 时，如上左图，则：
$$L=max(0,{\alpha }_2^{old}+{\alpha }_1^{old}-C)H=min(C,{\alpha }_2^{old}+{\alpha }_1^{old})$$
所以，最终的${\alpha }_2^{new}$ 应该要满足以下情况：
$${\alpha }_2^{new}=\{\begin{array}{ll}H& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc}& L\le {\alpha }_2^{new,unc}\le H\\ L& {\alpha }_2^{new,unc}<L\end{array}$$
那么应该如何求${\alpha }_2^{new,unc}$ ?，通过对目标函数求导可以解决。

引入变量：
$$\begin{gathered} g(x)=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x,x_j)+b^{\ast } \\ {E}_i=g(x_i)-y_i=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x_i,x_j)+b-y_i \\ {v}_i=\sum _{j=3}^m{y}_j{\alpha }_{j}K(x_i,x_j)=g(x_i)-\sum _{j=1}^2{y}_j{\alpha }_{j}K(x_i,x_j)-b \end{gathered}$$
注：$E_i$ 是样本的真实值与预测值的误差。

将$v_1,v_2$ 带入目标函数：
$$W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2$$
由${\alpha }_1{y}_1+{\alpha }_2{y}_2=\varsigma ,y_i^2=1$ 得：
$${\alpha }_1=y_1(\varsigma -{\alpha }_2{y}_2)$$
带入$W({\alpha }_1,{\alpha }_2)$ 消去${\alpha }_1$ ，得：
$$W({\alpha }_2)=\frac{1}{2}{K}_{11}(\varsigma -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}(\varsigma -{\alpha }_2{y}_2){\alpha }_2-(\varsigma -{\alpha }_2{y}_2)y_1-{\alpha }_2+(\varsigma -{\alpha }_2{y}_2)v_1+y_2{\alpha }_2{v}_2$$
这样问题就变成了单变量优化问题。接下来我们通过求导来得到${\alpha }_2^{new,unc}$ ：
$$\frac{\partial W}{\partial {\alpha }_2}=K_{11}{\alpha }_2+K_{22}{\alpha }_2-2K_{12}{\alpha }_2-K_{11}\varsigma y_2+K_{12}\varsigma y_2+y_1{y}_2-1-v_1{y}_2+y_2{v}_2=0$$
整理得：
$$\begin{array}{rl}(K_{11}+K_{22}-2K_{12}){\alpha }_2& =y_2(y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+v_1-v_2)\\ & =y_2\left[y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+\left(g(x_1)-\sum _{j=1}^2{y}_j{\alpha }_{j}K(x_1,x_j)-b\right)-\left(g(x_2)-\sum _{j=1}^2{y}_j{\alpha }_{j}K(x_2,x_j)-b\right)\right]\end{array}$$
将${\alpha }_1=y_1(\varsigma -{\alpha }_2{y}_2)$ 带入上式：
$$\begin{array}{rl}(K_{11}+K_{22}-2K_{12}){\alpha }_2^{new,unc}& =y_2[y_2-y_1+g(x_1)-g(x_2)+({\alpha }_1{y}_1+{\alpha }_2^{old}{y}_2)K_{11}-({\alpha }_1{y}_1+{\alpha }_2^{old}{y}_2)K_{12}\\ & -(y_1{\alpha }_1{K}_{11}+y_2{\alpha }_2^{old}{K}_{12})+(y_1{\alpha }_1{K}_{21}+y_2{\alpha }_2^{old}{K}_{22})]\\ & \\ & =y_2[(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}{y}_2+y_2-y_1+g(x_1)-g(x_2)]\\ & \\ & =(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y_2(E_1-E_2)\end{array}$$
所以：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12})}$$

加上不等式约束，即剪辑后的结果为：
$${\alpha }_2^{new}=\{\begin{array}{ll}H& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc}& L\le {\alpha }_2^{new,unc}\le H\\ L& {\alpha }_2^{new,unc}<L\end{array}$$
由${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2=\varsigma$，可得：
$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})$$

选择变量的启发式方法

SMO算法在每个子问题中选择两个变量优化，其中至少一个变量时违反KKT条件的。

第一个变量的选择

SMO称选择第一个变量的过程为外层循环，外层循环选择出不满足KKT条件的样本点。

先来回顾一下KKT条件的对偶互补条件为：
$${\alpha }_i^{\ast }(y_i(w^T{x}_i+b)-1+{\xi }_i^{\ast })=0$$
令$g(x)=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x,x_j)+b^{\ast }$所以有：
$$\begin{gathered} {\alpha }_i^{\ast }=0\Rightarrow y_{i}g(x_i)\ge 1 \\ 0<{\alpha }_i^{\ast }<C\Rightarrow y_{i}g(x_i)=1 \\ {\alpha }_i^{\ast }=C\Rightarrow y_{i}g(x_i)\le 1 \end{gathered}$$
选择的顺序是：首先选择违反$0<{\alpha }_i^{\ast }<C\Rightarrow y_{i}g(x_i)=1$ 这个条件的点，即在间隔边界上的支持向量点。如果满足，再选择违反 ${\alpha }_i^{\ast }=0\Rightarrow y_{i}g(x_i)\ge 1，{\alpha }_i^{\ast }=C\Rightarrow y_{i}g(x_i)\le 1$ 这个条件的点。

第二个变量的选择

在确定第一个变量${\alpha }_1$ 的条件下，寻找第二个变量${\alpha }_2$ 。由公式可知：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12}}$$
可知：${\alpha }_2^{new}$ 依赖于$|E_1-E_2|$ 。选择${\alpha }_2$ 的一个标准是：使得$|E_1-E_2|$ 最大。因为${\alpha }_1$ 已经确定，$E_1$ 也确定了。所以：

（1）当$E_1>0$ 时，选择最小的$E_i$ 作为$E_2$

（2）当$E_1\le 0$ 时，选择最大的$E_i$ 作为$E_2$

注：为了节省计算时间。通常把所有的$E_i$ 的值保存在一个列表中。

计算阈值b和差值$E_i$

每次完成两个变量的优化后，都要重新计算阈值$b$。当$0<{\alpha }_1^{new}<C$ 时，由KKT条件：$0<{\alpha }_i^{\ast }<C\Rightarrow y_{i}g(x_i)=1$ 可知：
$$y_1=\sum _{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b_1$$
所以：
$$b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}$$
由$E_1$ 的定义式得：
$$E_1=g(x_1)-y_1=\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}-y_1$$
所以：
$$y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}={\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}-E_1$$
带入$b_1^{new}$ 得：
$$b_1^{new}=-E_1-y_1{K}_{11}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{21}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$
当$0<{\alpha }_2^{new}<C$ 时，同理可得：
$$b_2^{new}=-E_2-y_1{K}_{12}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{22}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$
所以：
$$b^{new}=\frac{b_1^{new}+b_2^{new}}{2}$$
更新$E_i$:
$$E_i=\sum _S{y}_j{\alpha }_{j}K(x_i,x_j)+b^{new}-y_i$$
其中，$S$ 是所有支持向量得集合。

SMO算法

输入是m个样本$(x_1,y_1),(x_2,y_2),...,(x_m,y_m),$ 其中，$x_i \in \mathcal X = \mathbf R^n $ ，$y_i\in \mathcal{Y}=-1,+1，i=1,2\dots ,N$，精度$\epsilon$ ;

输出：近似解$\hat{\alpha }$

（1）取初值${\alpha }^{(0)}=0$ ，令$k=0$ 。

（2） 选取优化变量${\alpha }_1^k,{\alpha }_2^k$，解析求解两个变量的最优化问题，求解得最优解${\alpha }_1^{(k+1)},{\alpha }_2^{(k+1)}$ ，更新$\alpha$ 为${\alpha }^{k+1}$ 。

（3）若在精度$\epsilon$ 范围内满足停机条件：
$$\begin{gathered} \sum _{i=1}^m{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C,i=1,2...m \\ {\alpha }_i^{k+1}=0\Rightarrow y_{i}g(x_i)\ge 1 \\ 0<{\alpha }_i^{k+1}<C\Rightarrow y_{i}g(x_i)=1 \\ {\alpha }_i^{k+1}=C\Rightarrow y_{i}g(x_i)\le 1 \end{gathered}$$
其中：
$$g(x)=\sum _{j=1}^N{\alpha }_j^{\ast }{y}_{j}K(x,x_j)+b^{\ast }$$
则转(4)，否则令$k=k+1$ ，转(2)；

（4）取 $\hat{\alpha }={\alpha }^{(k+1)}$