模式识别与机器学习 | 第三章 判别函数

3.1 线性判别函数
3.2 广义线性判别函数
3.3 分段线性判别函数
3.4 模式空间和权空间
3.5 Fisher线性判别
3.6 感知器算法
3.7 采用感知器算法的多类模式的分类
3.8 可训练的确定性分类器的迭代算法
3.9 势函数法 — 一种确定性的非线性分类算法
3.10 决策树简介

3.1 线性判别函数

3.1.1 用判别函数分类的概念

模式识别系统的主要作用

• 判别各个模式所属的类别

对一个两类问题的判别，就是将模式x划分成ω1和ω2两类。

两类问题的判别函数（以二维模式样本为例）

若x是二维模式样本x = (x1 x2)T，用x1和x2作为坐标分量，得到模式的平面图：

这时，若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分
d(x) = w1x1 + w2x2 + w3 = 0

其中x1、x2为坐标变量，w1、w2、w3为参数方程，则将一个不知类别的模式代入d(x)，有

• 若d(x) > 0，则 x ∈ ω1
• 若d(x) < 0，则 x ∈ ω2

此时，d(x)=0称为判别函数。

用判别函数进行模式分类依赖的两个因素

（1）判别函数的几何性质：线性的和非线性的函数。

• 线性的是一条直线；
• 非线性的可以是曲线、折线等；
• 线性判别函数建立起来比较简单（实际应用较多）；
• 非线性判别函数建立起来比较复杂。

（2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。

• 只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数。

3.1.2 线性判别函数

n维线性判别函数的一般形式

一个n维线性判别函数的一般形式：

其中w0 = (w1, w2, …, wn)T称为权向量（或参数向量）, x = (x1, x2, …, xn)T。

d(x)也可表示为：
d(x) = wTx
其中，x = (x1, x2, …, xn, 1)T称为增广模式向量，w = (w1, w2, …, wn+1)T称为增广权向量。

分类问题

两类情况：判别函数d(x)

多类情况：设模式可分成ω1, ω2,…, ωM共M类，则有三种划分方法

• 多类情况1

用线性判别函数将属于ωi类的模式与不属于ωi类的模式分开，其判别函数为：

i = 1, 2, …, M

这种情况称为 两分法，即把M类多类问题分成M个两类问题，因此共有M个判别函数，对应的判别函数的权向量为wi, i = 1, 2, …, M。

图例：对一个三类情况，每一类模式可用一个简单的直线判别界面将它与其它类模式分开。
例如对x∈ω1的模式，应同时满足：d1(x)>0，d2(x)<0，d3(x)<0

不确定区域：若对某一模式区域，di(x)>0的条件超过一个，或全部di(x)<0，i = 1, 2, …, M，则分类失败，这种区域称为不确定区域(IR)。

例：
设有一个三类问题，其判别式为：
d1(x)= -x1 + x2，d2(x)= x1 + x2 - 5，d3(x)= -x2 + 1
则对一个模式x=(6, 5)T，判断其属于哪一类。
将x=(6, 5)T代入上述判别函数，得：
d1(x) = -1，故d1(x)<0
d2(x) = 6，故d2(x)>0
d3(x) = -4，故d3(x)<0
从而 x ∈ ω2

假若x=(3, 5)T，则
d1(x) = 2>0
d2(x) = 3>0
d3(x) = -2<0
分类失败。

• 多类情况2

用每对划分，即ωi/ωj两分法，此时一个判别界面只能分开两种类别，但不能把它与其余所有的界面分开。
其判别函数为：


重要性质：dij = -dji

图例：对一个三类情况，d12(x)=0仅能分开ω1和ω2类，不能分开ω1和ω3类。
要分开M类模式，共需M(M-1)/2个判别函数。
不确定区域：若所有dij(x)，找不到 ，dij(x)>0的情况。

• 多类情况3（多类情况2的特例）

这是没有不确定区域的ωi/ωj两分法。假若多类情况2中的dij可分解成：dij(x) = di(x) - dj(x) = (wi – wj)Tx，则dij(x)>0相当于di(x)>dj(x)，∀j≠i，这时不存在不确定区域。此时，对M类情况应有M个判别函数：

即di(x)>dj(x)，∀j≠i ，i, j = 1,2,…,M，
则 ，也可写成，若di(x)=max{dk(x), k=1,2,…,M}，则 x ∈ ωi 。
该分类的特点是把M类情况分成M-1个两类问题。

例：设有一个三类问题的模式分类器，其判别函数为：
d1(x)= -x1 + x2，d2(x)= x1 + x2 - 1，d3(x)= -x2

属于ω1类的区域应满足d1(x)>d