西瓜书+实战+吴恩达机器学习（十）监督学习之支持向量机 Support Vector Machine

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

在样本空间中，划分超平面可通过线性方程$w^{T}x+b=0$决定。

严格的说，对超平面设置上界和下界，如下图所示（图源：机器学习）：

并满足：
$$\{\begin{array}{c}{w}^T{x}_i+b⩾+1,y_i=+1\\ w^T{x}_i+b⩽-1,y_i=-1\end{array}$$

支持向量定义为使得上式等号成立的向量，上界下界的距离称为间隔：
$$\gamma =\frac{2}{||w||}$$

1. 拉格朗日乘子法

拉格朗日乘子法（Lagrange multipliers）是一种寻找多元函数在一组约束下的极值的方法。

假设问题具有$m$个等式约束和$n$个不等式约束：
$$\begin{array}{rl}\underset{x}{\min }& f(x)\\ s.t.& h_i(x)=0(i=1,..,m)\\ & g_j(x)⩽0(j=1,...,n)\end{array}$$

引入拉格朗日乘子$\lambda \mu$，相应的拉格朗日函数为：
$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^n{\mu }_j{g}_j(x)$$

对应的KKT条件（Karush-Kuhn-Tucker）为：
{ ∇ x L = 0 h i ( x ) = 0 g j ( x ) ⩽ 0 μ j ⩾ 0 μ j g j ( x ) = 0 \left\{\begin{aligned} &\nabla_xL=0\\ &h_i(x)=0\\ &g_j(x)\leqslant 0\\ &\mu_j\geqslant 0\\ &\mu_jg_j(x)=0 \end{aligned}\right. ⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧​​∇x​L=0hi​(x)=0gj​(x)⩽0μj​⩾0μj​gj​(x)=0​

2. SVM参数求解方法

欲找到最大间隔划分超平面，需要满足：
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2\\ s.t.& y_i(w^T{x}_i+b)⩾1,i=1,...,m\end{array}$$

根据拉格朗日乘子法，有下式：
$$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b)) \\ \begin{array}{rl}& \frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\\ & \frac{\partial L}{\partial b}=0\Rightarrow 0=\sum _{i=1}^m{\alpha }_i{y}_i\end{array} \end{gathered}$$

可得到对偶问题：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.& \sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & {\alpha }_i⩾0,i=1,...,m\end{array}$$

对应的KKT条件：
$$\{\begin{array}{rl}& {\alpha }_i⩾0\\ & y_{i}f(x_i)-1⩾0\\ & {\alpha }_i(y_{i}f(x_i)-1)=0\end{array}$$

采用SMO（Sequential Minimal Optimization）求解参数：先固定${\alpha }_i$之外的所有参数，然后求${\alpha }_i$上的极值（${\alpha }_i$可以通过其他变量导出），于是，SMO每次选择两个变量${\alpha }_i$和${\alpha }_j$，并固定其他参数，求解拉格朗日乘子法的对偶问题，更新${\alpha }_i$和${\alpha }_j$，迭代这个过程到收敛为止。

求解出$\alpha$之后，可得超平面$f(x)=w^{T}x+b={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b$。其中，对任意支持向量$y_{s}f(x_s)=1$，所以可得$b=\frac{1}{|S|}{\sum }_{s\in S}(1/y_s-{\sum }_{i\in S}{\alpha }_i{y}_i{x}_i^T{x}_s)$。

3. 软间隔

很多时候数据并不是线性可分的，无法辨别找到的超平面是否是过拟合引起的问题。

可采用软间隔，允许SVM在一些样本上出错。引入松弛变量$\xi$：
$$\begin{array}{rl}\underset{w,b,\xi }{\min }& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ s.t.& y_i(w^T{x}_i+b)⩾1-{\xi }_i\\ & {\xi }_i⩾0,i=1,...,m\end{array}$$

根据拉格朗日乘子法，有下式：
$$\begin{gathered} L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))-\sum _{i=1}^m{\mu }_i{\xi }_i \\ \begin{array}{rl}& \frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\\ & \frac{\partial L}{\partial b}=0\Rightarrow 0=\sum _{i=1}^m{\alpha }_i{y}_i\\ & \frac{\partial L}{\partial {\xi }_i}=0\Rightarrow C={\alpha }_i+{\mu }_i\end{array} \end{gathered}$$

可得到对偶问题，与硬间隔唯一的差别在于约束条件：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.& \sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & 0⩽{\alpha }_i⩽C,i=1,...,m\end{array}$$

对应的KKT条件：
$$\{\begin{array}{rl}& {\alpha }_i⩾0,{\mu }_i⩾0\\ & y_{i}f(x_i)-1+{\xi }_i⩾0\\ & {\alpha }_i(y_{i}f(x_i)-1+{\xi }_i)=0\\ & {\xi }_i⩾0,{\mu }_i{\xi }_i⩾0\end{array}$$

4. 核方法

将样本从原始空间映射到更高维的特征空间，使得样本在这个特征空间内线性可分。

核函数表示为：$k(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$

拉格朗日乘子法对偶问题修改为：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}k(x_i,x_j)\\ s.t.& \sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & {\alpha }_i⩾0,i=1,...,m\end{array}$$

超平面修改为：$f(x)=w^T\varphi (x)+b$

常见的核函数如下图所示（图源：机器学习）：

5. 支持向量回归

支持向量回归（Support Vector Regression）构建一个$2\epsilon$的间隔带，若样本落入间隔带，则被认为预测正确。

间隔带两侧松弛程度不同，有：
$$\begin{array}{rl}\underset{w,b,\xi ,\hat{\xi }}{\min }& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i)\\ s.t.& f(x_i)-y_i⩽\epsilon +{\xi }_i\\ & y_i-f(x_i)⩽\epsilon +{\hat{\xi }}_i\\ & {\xi }_i⩾0,{\hat{\xi }}_i⩾0,i=1,...,m\end{array}$$

根据拉格朗日乘子法，有下式：
$$\begin{gathered} \begin{array}{rl}& L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })\\ & =\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i)-\sum _{i=1}^m{\mu }_i{\xi }_i-\sum _{i=1}^m{\hat{\mu }}_i{\hat{\xi }}_i\\ & +\sum _{i=1}^m{\alpha }_i(f(x_i)-y_i-\epsilon -{\xi }_i)+\sum _{i=1}^m{\hat{\alpha }}_i(y_i-f(x_i)-\epsilon -{\hat{\xi }}_i)\end{array} \\ \begin{array}{rl}& \frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)x_i\\ & \frac{\partial L}{\partial b}=0\Rightarrow 0=\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)\\ & \frac{\partial L}{\partial {\xi }_i}=0\Rightarrow C={\alpha }_i+{\mu }_i\\ & \frac{\partial L}{\partial {\hat{\xi }}_i}=0\Rightarrow C={\hat{\alpha }}_i+{\hat{\mu }}_i\end{array} \end{gathered}$$

可得到对偶问题：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^m{y}_i(\widehat{{\alpha }_i}-{\alpha }_i)-\epsilon (\widehat{{\alpha }_i}+{\alpha }_i)-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)(\widehat{{\alpha }_j}-{\alpha }_j)x_i^T{x}_j\\ s.t.& \sum _{i=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)=0,\\ & 0⩽{\alpha }_i,\widehat{{\alpha }_i}⩽C,i=1,...,m\end{array}$$

对应的KKT条件：
$$\{\begin{array}{rl}& {\alpha }_i(f(x_i)-y_i-\epsilon -{\xi }_i)=0\\ & \widehat{{\alpha }_i}(y_i-f(x_i)-\epsilon -{\hat{\xi }}_i)=0\\ & {\alpha }_i\widehat{{\alpha }_i}=0,{\xi }_i{\hat{\xi }}_i=0\\ & (C-{\alpha }_i){\xi }_i=0,(C-\widehat{{\alpha }_i}){\hat{\xi }}_i=0\end{array}$$

SVR的解表示为：$f(x)={\sum }_{i=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)x_i^{T}x+b$。

其中，$b=y_i+\epsilon -{\sum }_{j=1}^m(\widehat{{\alpha }_j}-{\alpha }_j)x_j^T{x}_i$。

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~