机器学习算法之感知机模型算法原理及实现

感知机是一种二分类线性模型，属于判别模型

1 算法原理

1.1 感知机模型

1. 输入空间：$X\subseteq R^n$
2. 输入变量：$x\in X$
3. 输出空间： Y = { + 1 , − 1 } Y=\{+1,-1\} Y={ +1,−1}
4. 输出变量： y ∈ { + 1 , − 1 } y \in\{+1,-1\} y∈{ +1,−1}
5. 假设空间：$f(x)=\mathrm{sign}(w\cdot x+b)$
6. 相关说明： 输入变量是一个维向量， 表示该实例是正类， 表示该实例是负类。
   
   如图，输入空间为两维，即$X\subseteq R^2$。$x^{(1)}$和$x^{(2)}$表示实例的两个特征分量，然后根据训练集中每一个实例在这两个输入变量上的取值，将其划分到输入空间中对应的点，实例就是由图中的$\circ$和$\times$表示的，其中$\circ$表示正类， 表示$\times$负类。
   感知机模型的输入变量是线性可分的，即图中的点可以使用一条直线分开。在直线上方的是正类，下方的是负类。该直线的表示形式为：$w_1{x}^{(1)}+w_2{x}^{(2)}+b=0$，该平面中所有的直线构成该模型的假设空间。则实例分类按照如下公式：
   $$w_1{x}^{(1)}+w_2{x}^{(2)}+b\{\begin{array}{lc}⩾0& \text{正例}\\ <0& \text{负例}\end{array}$$
   假设空间：
   $$f(x)=\mathrm{sign}(w\cdot x+b)=\{\begin{array}{ll}+1& w\cdot x+b⩾0\\ -1& w\cdot x+b<0\end{array}$$
   其中$w$是$n$维向量。
   $$w\cdot x=w_1{x}^{(1)}+w_1{x}^{(1)}+\cdots +w_n{x}^{(n)}$$
   总结： 在感知机模型中，假设空间是关于输入变量的线性函数，再取其符号函数。取符号函数的目的是输出变量是需要分类的，为+1或-1。

1.2 感知机学习策略

1.2.1 损失函数

所有误分类点到分类超平面的距离和：
$$L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$
$M$为总体中误分类实例的集合。

1.2.2 损失函数推导

感知机模型中，损失函数定义如下：误分类的实例到分类超平面的距离。
对于任意实例$x_i$到超平面的距离为$$\frac{\left|w\cdot x_i+b\right|}{\Vert w\Vert }$$，其中$\Vert w\Vert =\sqrt{w_1^2+\cdots +w_n^2}$，误分类实例$x_i$到超平面的距离等价于
$$\frac{-y_i\left(w\cdot x_i+b\right)}{\Vert w\Vert }$$
因为$\left|w\cdot x_i+b\right|$带有绝对值符号，对于误分类实例$y_i\left(w\cdot x_i+b\right)<0$，因此加上符号使其始终为正。
对于：$$\frac{-y_i\left(w\cdot x_i+b\right)}{\Vert w\Vert }$$
计算其最小值，只需计算：
$$-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$
**附：**超平面：在输入变量是2维的时候，用一条直线来分类的，当输入变量是3维的时候，用一个平面类划分，当输入变量是4维的时候，用一个3维的平面来划分，这个时候，该平面被称为超平面。当输入变量是$n$维的时候，用一个$n-1$维的超平面来分类，所以就用超平面来表示分割平面。

1.3 感知机学习算法

1.3.1 感知机学习算法的原始形式

算法1 随机梯度下降法
输入： 训练数据集$T=\left[\left(x_1,y_1\right),\dots ,\left(x_N,y_N\right)\right]$，学习率$\eta$

1. 初始化初值$w_0$,$b_0$，即初始化假设空间中的一个模型

2. 在训练集中选取数据$\left(x_i,y_i\right)$

3. 如果$y_i(w\cdot x_i$