贝叶斯分类器（一）

本文主要理论推导主要来自于:《Statistical Pattern Recognition》一书英文版第8-10页相关内容，如有错误，望各位不吝赐教。

统计学习中的决策过程主要可以分为两大类，一类为基于概率分布的决策，一类为基于判别函数的决策。
在基于概率分布的决策中，通常使用贝叶斯定理进行决策。我们可能都听说过贝叶斯分类器具有最小化误分类概率，我之前在学习中一直对此概念囫囵吞枣，不甚明白，甚至将贝叶斯分类器与朴素贝叶斯混为一谈，在重新学习相关知识后，恍然大悟，特此总结如下。

贝叶斯定理及贝叶斯分类器

考虑一个分类问题，待分类样本记为$\mathbf{x}$，其所有可能类别为$i={\omega }_1,{\omega }_2,\cdots {\omega }_C$共计$C$类。每一类的先验概率$p({\omega }_i)$，${\sum }_{i=1}^{C}p({\omega }_i)=1$。若给定任一样本，我们对其各项特征取值均未知，让我们对其进行分类，此时为使误分类误差最小，自然地，我们应当将样本分类至具有最大先验概率的类别$i$中，即$\underset{i}{\max }p({\omega }_i)$。

当我们知道给定样本的各项特征取值时，我们又该如何对其进行分类呢？记该样本各特征值向量为$\mathbf{x}$，此时我们可以根据贝叶斯公式计算其属于第$i$类的后验证概率$p({\omega }_i|\mathbf{x})$，直觉告诉我们，此时如果将样本分类至具有最大后验概率的类别$i$，即$\underset{i}{\max }p({\omega }_i|\mathbf{x})$中时，误分类概率最小。事实上，基于最大后验概率进行分类的贝叶斯分类器确实具有最小的误分类率，接下来我们将通过多分类问题对其进行证明。

贝叶斯定理计算${\omega }_i$的后验概率公式如下：
$$p({\omega }_j|\mathbf{x})=\frac{p(\mathbf{x}|{\omega }_j)p({\omega }_j)}{p(\mathbf{x})}$$

任一决策规则下，误分类率的计算

考虑一个多分类问题，样本$\mathbf{x}$可能的取值有$i={\omega }_1,{\omega }_2,\cdots {\omega }_C$共计$C$类，假设我们基于某一决策规则，对一系列样本${\mathbf{x}}_1$,${\mathbf{x}}_2$,$\cdots$进行分类，该分类规则将整个样本空间$\Omega$划分为互不重叠的子空间${\Omega }_1\cdots$${\Omega }_C$，其中如果$\mathbf{x}$落在${\Omega }_i$空间内，则$\mathbf{x}$属于第${\omega }_i$类。此时，该决策规则下的误分类率可基于全概率公式计算如下：
$$p(error)=\sum _{i=1}^{C}p(error|{\omega }_i)p({\omega }_i)$$
其中$p(error|{\omega }_i)$表示第${\omega }_i$类的误分类率，其计算如下：
$$p(error|{\omega }_i)=1-p(correct|{\omega }_i)$$
$$=1-{\int }_{{\Omega }_i}p(\mathbf{x}|{\omega }_i)d\mathbf{x}$$
所以，
$$p(error)=\sum _{i=1}^{C}p({\omega }_i)\left(1-{\int }_{{\Omega }_i}p(\mathbf{x}|{\omega }_i)d\mathbf{x}\right)$$
$$=1-\sum _{i=1}^C{\int }_{{\Omega }_i}p({\omega }_i)p(\mathbf{x}|{\omega }_i)d\mathbf{x}$$

最优决策规则

基于第二小节任意决策规则下，误分类率的计算可知，若要最小化误分类概率，则应最大化
$$\sum _{i=1}^C{\int }_{{\Omega }_i}p({\omega }_i)p(\mathbf{x}|{\omega }_i)d\mathbf{x}$$
即将样本$\mathbf{x}$分类到使得$p({\omega }_i)p(\mathbf{x}|{\omega }_i)$达到最大的类别${\omega }_i$上，此时，对全体空间上样本总的正确分类率为：
$$c={\int }_{\Omega }\underset{i}{\max }p({\omega }_i)(\mathbf{x}|{\omega }_i)d\mathbf{x}$$
注意到：
$$p({\omega }_i)p(\mathbf{x}|{\omega }_i)=p({\omega }_i|\mathbf{x})p(\mathbf{x})$$
其中，$p(\mathbf{x})$对每一确定样本为常数，因此，最大化$p({\omega }_i)p(\mathbf{x}|{\omega }_i)$等价于最大化贝叶斯后验概率$p({\omega }_i|\mathbf{x})$，由此即可证明，贝叶斯分类器具有最小误分类率。其误分类率为：
$$1-c=1-{\int }_{\Omega }\underset{i}{\max }p({\omega }_i)(\mathbf{x}|{\omega }_i)d\mathbf{x}$$

至此，我们证明了，基于最大化后验概率的贝叶斯分类器具有最小化误分类率。

朴素贝叶斯分类

根据前述分析，我们理解了贝叶斯分类器是一种根据类的概率密度进行分类（最大化后验概率）的决策方法。事实上，真实数据中，类的概率密度的分布形式及其参数都是未知的，通常我们需要依靠经验和已有的训练数据来估计类的概率密度，当采用不同的方法估计类的概率密度时，我们所得到的最终分类结果自然也不相同。
很多人，可能听说过朴素贝叶斯这一分类方法。根据名字不难理解，朴素贝叶斯应当属于一类特殊的贝叶斯分类器。事实上，朴素贝叶斯基于样本的各特征间相互独立这一假设进行类概率密度的确定。当计算高维概率密度的后验概率时，若$n$维特征间相互独立，则可以容易地得出：
$$p(\mathbf{x}|{\omega }_i)=\prod _{i=1}^{n}p(x_i|{\omega }_i)$$
这在很大程度上能够简化计算。
以上，即是本次全部总结。