非线性支持向量机 与核函数

有些数据集，可能需要一个椭圆等非线性的超曲面才能把正负例分开，显然这不能用前两种方法了。

那把数据集映射到一个更高维的特征空间（也即输入空间到特征空间的映射），可以将数据集变成线性分类问题也就可以用线性支持向量机来解决。这叫做核技巧。

核技巧应用到支持向量机，其基本想法就是通过一个非线性变换将输入空间(欧氏空间Rⁿ或离散集合)对应于一个特征空间(希尔伯特空间H)，使得在输入空间Rⁿ中的超曲面模型对应于特征空间H中的超平面模型(支持向量机)。

核技巧的想法是，在学习与预测中只定义核函数K(x,z)，而不显式地定义映射函数。对于给定的核K(x,z)，特征空间x和映射函数的取法并不唯一，可以取不同的特征空间，即便是在同一特征空间里也可以取不同的映射。

核函数

核技巧在支持向量机中的应用

对偶问题的目标函数中，内积(x_i*x_j)用核函数K(x_i, x_j)来代替

分类决策函数也可用核函数代替，变为：

正定核

通常所说的核函数就是正定核函数。

常用核函数

非线性支持向量机学习算法