机器学习笔记（十）-支持向量机（SVM）

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。作者能力有限，如有错误等，望联系修改，非常感谢！

---

第一版       2022-03-15        初稿

---

一、优化目标

我们从逻辑回归展示




最后有别于逻程回归输出的概率。在这里，我们的代价函数，当最小化代价函数，获得参数θ时，支持向量机所做的是它来直接预测y的值等于1，还是等于0。因此，这个假设函数会预测 1。当θ^Tx大于或者等于0时，或者等于0时，所以学习参数日就是支持向量机假设函数的形式。那么，这就是支持向量机数学上的定义。

二、大边界的直观理解

这是支持向量机模型的代价函数


数据集有正样本和负样本，则此数据集是线性可分的。

两条蓝线表现比黑线差，黑色决策界和训练样本有更大的最短距离，这个距离叫做SVM的间距，这是SVM具有鲁棒性的原因。因此SVM有时叫做大间距分类器。

如上图左，学习算法会受异常点的影响。

回顾C=1/λ：
C较大时，相当于λ较小，可能会导致过拟合，高方差
C较小时，相当于λ较大，可能会导致低拟合，高偏差

三、大边界分类背后的数学（选）

内积向量：
u T v u^Tv