SVM拓展和SVR支持向量回归

软间隔

在建立SVM模型时，假定正负样本是线性可分的。但是，实际有些时候，样本不是完全线性可分的，会出现交错的情况，例如下图。

这时，如果采用以下模型

$min_{w,b}\{\dfrac{1}{2}\|w\|_2^2\},\\ subject\ to\quad y_i(w^Tx_i+b)\ge1$

可能就没有可行解。针对这种情况，允许某些样本不满足约束$y_i(w^Tx_i+b)\ge 1$ , 但是在最大化间隔的同时，不满足约束的样本应尽可能少，优化目标可以写为：

$min_{w,b}\dfrac{1}{2}\|w\|^2+C\sum_{i=1}^{m}l_{0/1}(y_i(w^Tx_i+b)-1)\quad \tag{4-1}$

其中$l_{0/1}$ 是0/1损失函数，

$$L_{0/1}(z)= \begin{cases} 1 &\mbox{if z<0}\\ 0 &\mbox{otherwise} \end{cases}$$
从(4-1)可以看到，当C为无穷大时，所有样本必须满足约束 $y_i(w^Tx_i+b)\ge 1$ 才可行。当C取有限值时，允许一些样本不满足约束。

$l_{0/1}$ 非凸非连续，数学性质不好，因此常用其他函数替代，称为替代损失函数（surrogate loss function）。一些常用的替代损失函数有：

hinge损失：$l_{hinge}(z)=max(0,1-z)$

指数损失exponential loss：$l_{exp}(z)=exp(-z)$

对率损失 logistic loss: $l_{log}(z)=log(1+exp(-z))$

如果采用hinge损失，则（4-1）变为：

$min_{w,b}\dfrac{1}{2}\|w\|^2+C\sum_{i=1}^{m}max(0,1-y_i(w^Tx_i+b))\quad \tag{4-2}$

引入松弛变量$\xi_i$ (也叫容忍度)，C为参数，需要根据经验调整。可以得到

$$\begin{align} min_{w,b}&\{\dfrac{1}{2}\|w\|_2^2+C\sum_{i=1}^N\xi_i\},\\ subject\ to\quad &y_i(w^Tx_i+b)\ge1-\xi_i;i=1,...,N\\ &\xi_i \ge 0 \end{align}\tag{4-3}$$
这个是一个QP问题。

可以看到，当$\xi_i=0$ 时， $y_i(w^Tx_i+b) \ge 1$ ，样本点被正确分类，且距离大于支撑向量。

当$1 \ge \xi_i \gt 0$ 时，$y_i(w^Tx_i+b) \ge 0$ 即，样本点被正确分类，但是距离有可能小于支撑向量 yi(wTx