统计学习方法--感知机模型 （perception）

概念

感知机是一个二类分类的线性分类器，是支持向量机和神经网络的基础。它假设数据是线性可分的，目标是通过梯度下降法，极小化损失函数，最后找到一个分割超平面，可以将数据划分成两个类别。

决策函数 如下：

$$f(x) = sign(w·x+b)$$
其中 $w$ 是权值（weight）参数， $b$ 是偏置项（bias）。对 $n$ 维来说，线性方程 $w·x + b = 0$ 对应特征空间的一个超平面，其中 $w$ 是超平面的法向量， $b$ 是超平面的截距。 $w·x$ 是求内积的意思，即各项对应相乘后求和。
在二维空间，即直角坐标系中，上面的超平面变成了高中学过的直线的解析式。
$$\left\{\begin{aligned} & w = (A,\ B),\ x = (x_1,\ x_2)=(x,\ y) \\ & w·x+b=0\rightarrow\ Ax+By+b=0 \end{aligned} \right.$$

函数 $sign$ 就是符号函数，定义如下：

$$sign(t) =\left\{ \begin{aligned} +1,\qquad t\geq0 \\ -1,\qquad t<0 \\ \end{aligned} \right.$$

即，给出特征空间的一个例子 x={ x1