支持向量机(SVM)学习笔记

    最近学习了coursera上斯坦福大学的机器学习课程。其中支持向量机的内容和其他地方的理解不太一样，现将两种理解方法记录如下。

    第一种：coursera

    这一种理解是从逻辑回归推理得来。逻辑回归的损失函数为：

    

其中h(z)=1/(1+exp(-z)).接下来-log(h(x))和-log(1-h(x))的图像如图所示

其中手绘的函数为原函数的近似。手绘函数为：小于1则随x减小而线性增大，大于1则取值为0。此为hinge cost function

逻辑回归的目标函数为

将其中的cost替换为hinge cost function。并且对lambda用C替换，C=1/lambda,公式变为：

如果我们认为C无限大，即前一项变为限制条件，限制条件为|WT*X+b|>=1;仅对后一项求最小值：

目标函数变为：

min( ||W||^2 )  s.t.|WT*X+b|>=1

    第二种：

    从函数距离到几何距离，然后推理得来