SVM 经典疑问收录

1.回顾一下，w与αi,xi,yi的关系式为:

w = ∑ αi*yi*xi ，其中i = 1,2,3,...,N

我们初始化的α是一个全为0的向量，即α1=α2=α3=...=αN=0，w的值即为0.

我们进行SMO算法时，每轮挑选出两个变量αi，固定其他的α值，也就是说，那些从来没有被挑选出来过的α，值始终为0，而根据前面所学，支持向量对应的αi是一定满足 0<αi<=C的.

有了这个认识之后，为什么不用全集呢，因为不是支持向量的样本点，对应的αi值为0啊，加起来也没有意义，对w产生不了影响，只有支持向量对应的点 (xi,yi)与对应的αi相乘，产生的值才对w有影响啊。

从这里也能理解，为什么李航书中，认为支持向量不仅仅是处于间隔边界上的点，还包括那些处于间隔边界和分类超平面之间、分类超平面之上、分类超平面错误的一侧处的点了，因为后面所说的那些点，对应的αi为C，对w的计算可以起到影响作用，换句话说，就是能对w起到影响作用的点，都属于支持向量!

 

2.你好，α=Cα=C,这样的样本也是支持向量，只是不在间隔边界上而已。参见我本系列第二篇第4节的内容和第4节的图，图中的红字。

 

3.你好，计算求解b1new时，不需要用E1来表示，用4.3节第二个公式可以求出来，后续用E1表示，是为了求出最终的bnew, 并求出Ei。

你好，每个样本都有一个E，上面的部分只能求出E1，即我们选择αα对应的一个样本的E，其他样本的E不能用这个公式来求的。其余的E需要在拿到bnew后才能求。

 

4.

刘老师您好，想想请教你个问题。既然SVM 可以直接用次梯度下降去优化HINGE LOSS，为什么要把原问题转换为对偶问题用SMO 去优化。最后转换为对偶形式以后，也是一个凸优化问题。为什么不能用梯度下降或者牛顿法等去优化，是不是因为有不等式约束？谢谢。

你好，对的，因为有不等式约束，所以不方便用梯度下降或者牛顿法直接去迭代优化求解。因为有可能你负梯度的方向不符合不等式的约束。此时不好选择其他的方向。