感知机核心算法的两种理解！

一.感知机模型

• $f(x)=sign(w\cdot x+b)$

  感知机是一种线性分类模型，属于判别模型．
  

二. 感知机学习策略

• 损失函数
  

  $$L(w,b)=-\sum_{x_i \in M}y_i(w\cdot x_i+b)$$
  • $y_i\cdot (w\cdot x_i +b)$表示点$(x_i,y_i)$到分割超平面$y=w\cdot x+b$的函数距离
  • Ｍ为误分类点的集合

• 核心思想１：感知机的损失函数也就是所有误分类点到分割超平面的函数距离的总和．因为一个特定样本点的函数距离，误分类时是w,b的线性函数，所以，感知机的损失函数也就是w,b的连续可导的线性函数，有了这个关于参数的线性函数，就可以通过样本点来做优化．

三：感知机学习算法

    这是本文的重点，从两个角度解释感知机学习算法！

１．几何方法

    这个图片能很好的解释PLA的学习算法，右图的两个向量就说明了，
    每次碰到错误的分类点，更新w使用的公式(w＋yi*xi)的原因．具体看这篇博文：
    http://www.cnblogs.com/HappyAngel/p/3456762.html

２．代数方法

我也是看了上面的博文才提出的问题．这里的代数方法就是正向思维来解释作者的问题
博文中提到：
＂那么为什么要这样校正？因为这样可以保证Wt越来越靠近perfect直线Wf（ps.暂时没想到正向思维是如何得到这个式子的）＂

核心思想２：上面的核心思想１已经说明了PLA的损失函数．

$$L(w,b)=-\sum_{x_i \in M}y_i(w\cdot x_i+b)$$
他是 所有误分类点到分割超平面的函数距离之和，而且，这个损失函数还是一个 连续可导函数，因此，最小化这个损失函数可以通过 每次选取一个误分类点，使损失函数梯度下降，最终达到最小，这样也就是 对$y_i(w\cdot x_i+b)$求梯度（这里的b即上面链接博文中的w0），而这里的梯度值正是 $y_i\cdot x_i$，因此 $w_t$的校正公式为： $w_{t+1}=w_t+y_i\cdot x_i$

这里的核心思想参考李航博士的<<统计学习方法>>第二章的内容！

author by: zxf
作者所有其他博文链接