【张学工模式识别】第二章 统计决策方法

基本概念

• 概率密度函数：用于直观描述连续性随机变量，表示瞬时幅值落在某指定范围内的概率。落在各个点的可能性，落在每一个点处的相对大小。
  在坐标轴上，概率密度函数的y值表示落在x点上的概率为y
• 分布函数：用于描述随机变量落在任一区间上的概率
  在坐标轴上，分布函数的函数值y表示x落在区间（负无穷，正无穷）上的概率

分布函数是概率密度函数从负无穷到正无穷上的积分

• 先验概率$P(w_i)$:没有对样本进行任何观测情况下的概率，也就是未获得观测数据之前类别的分布
• 类条件概率$P(x|w_i)$：表示在$w_i$类条件下x的概率密度函数。
  也就是它的分布取决于类别状态
• 后验概率$P(w_i|x)$：在x情况下属于$w_i$类的概率
  如：已知硬币重量为x的情况下硬币属于$w_i$类的概率
• 贝叶斯公式：$P(w_i|x)=\frac{p(x,w_i)}{p(x)}=\frac{p(x|w_i)p(w_i)}{p(x)}=\frac{p(x|w_i)p(w_i)}{{\sum }_{j=1}^{n}p(x|w_j)p(w_j)}$ n是i的种类数

贝叶斯决策理论（统计决策理论）

贝叶斯决策：在类条件概率密度和先验概率已知的情况下，通过贝叶斯公式比较样本属于两类的后验概率
所以贝叶斯决策有两个要求：
①各个类别的总体概率分布（先验概率和类条件概率密度）是已知的
②要决策分类的类别数是一定的

最小错误率贝叶斯决策

最小错误率贝叶斯决策形式

最小错误率贝叶斯决策：

若$P(w_1|x)>P(w_2|x)$，则$x\in w_1$ ;反之，$x\in w_2$

下面是上面公式的几个等价形式
① 若$P(w_i|x)=maxP(w_j|x)$，则$x\in w_i$
②根据贝叶斯公式及两类分母相同可以得到：
若 $p(x|w_i)p(w_i)=maxP(x|w_j)P(w_j)$ ，则$x\in w_i$
③似然比形式
因为先验概率$p(w_i)$是事先确定的，和样本无关，所以可以整理成似然比形式
若 l ( x ) = p ( x ∣ w 1 ) p ( x ∣ w 2