统计学习方法——感知机（自学笔记）

感知机是二类分类的线性分类模型。

输入——实例特征向量；

输出——实例类别，取+1，-1二值。

用于求误分类的损失最小化，利用了梯度下降法

定义如下图

感知机模型如下图：

感知机模型用于二分类，从图来理解定义就是wx+b=0这条直线将实例分为两个部分，这里用来sign函数，取值±1.

wx+b构成了超平面，也可以这么理解2d——线；3d——面

感知机的学习策略

线性可分性 

也就是说能正确分在超平面两侧就是线性可分，不能就线性不可分。

函数间隔与几何间隔

判断模型好坏用的是损失函数：误分类点到超平面的距离 

函数间隔:

几何间距（一般用）：

对误分类的数据来说

误分类点到超平面S的距离为：

 因此所有误分类点到超平面S总距离为

 算法过程：     1、任意选取超平面,

                        2、采用梯度下降法极小化目标函数

                         3、更新w,b

算法1：原始形式

 算法2：对偶形式

 

 算法的收敛性

 

 

定理表明，误分的次数k是有上限的。

（收敛的推导视频可以看b站up主一只摩萨耶）