统计学习方法笔记 第二章 感知机
1. 感知机模型
感知机是用于二分类的线性分类模型，目标是求出将实例划分正负的超平面，属于判别式模型。
感知机的形式如下：
f ( x ) = s i g n ( w ⋅ x + b ) f(x)=sign(w\cdot{x}+b) f(x)=sign(w⋅x+b)
其中 w w w称为权值向量， b b b称为偏置， w ⋅ x w\cdot{x} w⋅x表示内积， s i g n sign sign是符号函数，表示：
s i g n ( x ) = { + 1 , x > 0 − 1 , x < 0 sign(x)=\begin{cases} +1, & x>0 \\[2ex] -1, & x<0 \end{cases} sign(x)=⎩⎨⎧+1,−1,x>0x<0
2. 感知机学习策略
2.1 数据集的线性可分性
如果存在一个超平面可以将二分类数据集的正负实例完全正确的划分到两边，那么称数据集是线性可分的。
2.2 感知机学习策略
学习策略等价于定义一个损失函数并且将损失函数极小化。感知机的损失函数定义为误分类点到超平面的总距离：
− 1 ∣ ∣ w ∣ ∣ ∑ x i ∈ M y i ( w ⋅ x i + b ) -\frac{1}{||w||}\sum_{x_i\in{M}}y_i(w\cdot{x_i}+b) −∣∣w∣∣1xi∈M∑yi(w⋅xi+b)
由于只考虑分类正误，那么损失函数可以定义为：
L ( x , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) L(x,b)=-\sum_{x_i\in{M}}y_i(w\cdot{x_i}+b) L(x,b)=−xi∈M∑yi(w⋅xi+b)
感知机的学习策略是再假设空间选取使损失函数最小的模型参数 w w w， b b b。
$$
3. 感知机的学习算法
3.1 原始形式学习算法
感知机的学习算法的目标是极小化损失函数的解：
min w , b L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) \min_{w,b}{L(w,b)}=-\sum_{x_i\in{M}}y_i(w\cdot{x_i}+b) w,bminL(w,b)=
最低0.47元/天 解锁文章
537
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
