非线性支持向量机 与核函数

有些数据集,可能需要一个椭圆等非线性的超曲面才能把正负例分开,显然这不能用前两种方法了。

那把数据集映射到一个更高维的特征空间(也即输入空间到特征空间的映射),可以将数据集变成线性分类问题也就可以用线性支持向量机来解决。这叫做核技巧

核技巧应用到支持向量机,其基本想法就是通过一个非线性变换将输入空间(欧氏空间Rn或离散集合)对应于一个特征空间(希尔伯特空间H),使得在输入空间Rn中的超曲面模型对应于特征空间H中的超平面模型(支持向量机)。

核技巧的想法是,在学习与预测中只定义核函数K(x,z),而不显式地定义映射函数。对于给定的核K(x,z),特征空间x和映射函数的取法并不唯一,可以取不同的特征空间,即便是在同一特征空间里也可以取不同的映射。

核函数


核技巧在支持向量机中的应用

对偶问题的目标函数中,内积(xi*xj)用核函数K(xi, xj)来代替


分类决策函数也可用核函数代替,变为:


正定核

通常所说的核函数就是正定核函数。



常用核函数




非线性支持向量机学习算法



展开阅读全文

没有更多推荐了,返回首页