SVM算法（二）

这里是参考邹博老师的视频，记录的一些笔记及自己的理解

目录

1. 线性可分支持向量机

1.1 线性可分支持向量机的原理和推导过程

1.2 线性可分支持向量机的一个例子 

1.3 总结

2. 线性支持向量机

2.1 线性支持向量机的原理及推导过程

2.2 损失函数的分析 

3. 非线性支持向量机

 3.1 核函数的由来及作用

 3.2 核函数介绍

3.2.1 多项式核函数

3.2.2 高斯核 

4. 总结

4.1 SVM不同参数对分类结果的影响

4.2 SVM划分多类别

4.3 SVM和Logistic回归的比较

4.4 SVM用于回归问题：SVR

5. SVM对于unbalance数据的解决方法

6. 问题和思考

7. 附录

7.1 拉格朗日法求带有约束条件的极值问题

7.2 SMO

7.3 优化问题的鞍点解释和KKT条件

8. 参考文献

---

1. 线性可分支持向量机

硬间隔最大化（hard margin maximization）

硬间隔支持向量机

Q：怎样判断数据是线性可分或者是线性不可分的？

若存在一个超平面，将数据分成两部分，并且是完全分开的；则垂直n维超平面，做一个投影面，这两类数据一定能够投影到低维空间中并且是可分的。

算法：LDA（线性判别分析）

1.1 线性可分支持向量机的原理和推导过程

整理目标函数: 添加负号

可用SMO或者拿出a1，a2 作为变量，其它作为常量，用梯度下降算法得到最优a。

 

1.2 线性可分支持向量机的一个例子 

1.3 总结

 

2. 线性支持向量机

对于线性不可分的情况

软间隔最大化（soft margin maximization）

软间隔支持向量机

2.1 线性支持向量机的原理及推导过程

 

 

线性SVM的目标函数

 

 

 

整理，得到对偶函数

 

 

2.2 损失函数的分析 

 

 

 Q：不太明白，logistic的损失函数为什么会是这样子？

3. 非线性支持向量机

 3.1 核函数的由来及作用

 

 

 双曲正切和sigmoid函数的关系

3.2 核函数介绍

3.2.1 多项式核函数

 

 不理解，没关系，我们来写的更详细一点

另一种多项式核

 

 

3.2.2 高斯核 

 

 

4. 总结

4.1 SVM不同参数对分类结果的影响

 

 

谁的方差小，就沿着谁的分界面画。如图中所示，绿色点的方差小，所以最后时沿着绿色的点画分界面。

4.2 SVM划分多类别

(1) 使用OVO或者OVR的策略

(2) 可以直接进行多分类吗？

4.3 SVM和Logistic回归的比较

（1）是否给出后验概率

经典的SVM，直接输出类别，不给出后验概率；

Logistic回归，会给出哪个类别的后验概率

（2）目标函数的异同

（3）SVM框架下引入Logistic函数：输出条件后验概率

4.4 SVM用于回归问题：SVR

5. SVM对于unbalance数据的解决方法

对于 unbalance的数据

详见代码

6. 问题和思考

7. 附录

7.1 拉格朗日法求带有约束条件的极值问题

7.2 SMO

 

 

 

 

 

 

 

7.3 优化问题的鞍点解释和KKT条件

 

 

8. 参考文献