支持向量机

1、线性模型

针对于线性可分的情况：

最好的划分线为使得 距离 d 最大的直线，其中被该直线插到的向量叫 支持向量。

定义：

①训练数据及标签  其中，, 标签 为 1或 -1。

②线性模型： （超平面），其中，, b为常数

 

③一个训练集线性可分是指：, 使：对于 , 有：

若  = 1. 则 ; 若  = -1，则  

综合起来就是，  （公式1）

事实：

支持向量机

优化问题（凸优化问题，二次规划问题）

2、非线性模型

核函数： 

3、优化理论

ROC 曲线：