李航《统计学习方法》读书笔记（4）——感知机

• 概览
• 感知机模型
• 感知机学习策略
• 感知机学习算法
• 感知机学习算法的实现

---

概览

感知机（perceptron）

• 二类分类的线性分类模型
• 输入：实例特征向量
• 输出：实例类别，取+1和-1二值
• 旨在求出分离超平面；属于判别模型
• 基于误分类的损失函数，使用梯度下降法对损失函数进行极小化
• 分原始形式和对偶形式

---

感知机模型

f(x) = sign(w*x+b)

• x：实例特征向量
• w：权值或权值向量
• b：偏置

几何解释

• w·x+b = 0为分离超平面（separating hyperplane）
• w是超平面法向量，b是截距

---

感知机学习策略

• 假设训练数据集线性可分（存在某超平面，所有正负实例点正确划分到两侧）
• 损失函数

  • 误分类点到超平面距离

    

  • 损失函数（经验风险）：是参数w,b的连续可导函数
    

---

感知机学习算法

随机梯度下降法（stochastic gradient descent）

• 原始形式

• 对偶形式

感知机学习算法的实现