模式识别的目的:确定某一个给定的模式样本属于哪一类。
贝叶斯判别原则
两类模式集的分类
目的:要确定x是属于ω1类还是ω2类,要看x是来自于ω1类的概率大还是来自ω2类的概率大。
贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。
由贝叶斯定理,后验概率P(ωi | x)可由类别ωi的先验概率P(ωi)和x的条件概率密度p(x | ωi)来计算,即:
这里p(x | ωi)也称为似然函数。将该式代入上述判别式,有:
其中,l12称为似然比,P(ω2)/P(ω1)=θ21称为似然比的判决阈值,此判别称为贝叶斯判别。
例:地震预测
对某一地震高发区进行统计,地震以ω1类表示,正常以ω2类表示。
统计的时间区间内, 每周发生地震的概率为20%,即P(ω1)=0.2,P(ω2)=1-0.2=0.8。
在任意一周,要判断该地区是否会有地震发生。显然,因为P(ω2)> P(ω1),只能说是正常的可能性大。如要进行判断,只能其它观察现象来实现。
通常地震与生物异常反应之间有一定的联系。
若用生物是否有异常反应这一观察现象来对地震进行预测,生物是否异常这一结果以模式x代表,这里x为一维特征,且只有**x=“异常”和x=“正常”**两种结果。
假设根据观测记录,发现这种方法有以下统计结果:
地震前一周内出现生物异常反应的概率=0.6,即p(x=异常| ω1)=0.6
地震前一周内出现生物正常反应的概率=0.4,即p(x=正常| ω1)=0.4
一周内没有发生地震但也出现了生物异常的概率=0.1,即p(x=异常| ω2)=0.1
一周内没有发生地震时,生物正常的概率=0.9,即p(x=正常| ω2)=0.9
问题
若某日观察到明显的生物异常反应现象,一周内发生地震的概率为多少,即求P(ω1 | x=异常)=?
这里P(ω1) 是根据以往的统计资料得到的地震发生的先验概率。现在经过观察,需要求出P(ω1 | x=异常),即观测到生物异常时一周内发生地震的概率,称为后验概率。
答案
已知:P(ω1)=0.2,P(ω2)=0.8,
p(x=异常|ω1)=0.6,p(x=正常|ω1)=0.4,
p(x=异常|ω2)=0.1,p(x=正常|ω2)=0.9
似然比:
判断阈值:
贝叶斯最小风险判别
当考虑到对于某一类的错误判决要比对另一类的判决更为关键时,就需要把最小错误概率的贝叶斯判别做一些修正,提出条件平均风险rj(x)。
M类分类问题的条件平均风险rj(x)
对M类问题,如果观察样本被判定属于ωj类 ,则条件平均风险为:
Lij称为将本应属于ωi类的模式判别成属于ωj类的是非代价。
意义
对于自然