贝叶斯分类决策

目录

先验概率、条件概率与后验概率的概念

先验概率

条件概率

后验概率

加大难度，来个辨析题

贝叶斯决策理论

基于最小错误率的贝叶斯决策

基于最小风险的贝叶斯决策

---

先验概率、条件概率与后验概率的概念

先验概率

先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率。

通俗点讲，先验概率就是事情尚未发生前，我们对该事发生概率的估计，那些通过实践调研得到的，或者通过经验总结的概率都是先验概率。

例如明天下雨的概率是85%，抛一枚硬币正面朝上的概率是50%，下午挨饿的概率是15%。若用w1和w2分别表示两个类别，P（w1）和P（w2）表示各自的先验概率，此时满足       P（w1）+P（w2）=1

条件概率

它是指在某个特定的类别发生的前提下，某一个情况发生的概率。例如已知今天中午吃了一个馒头，就下午挨饿的概率，一般我们用如下的形式表示模式样本X出现的概率：   P（X|Wi）  ,它表示Wi发生的前提下X发生的概率。还拿吃馒头举例子的话，今天中午吃馒头了，那么下午挨饿概率就可以表示为      P（下午挨饿|中午吃馒头）  。

后验概率

它是在某一个具体的模式发生的前提下，某一个类别出现的概率。例如下午挨饿了，求中午吃的是馒头的概率。后验概率可以根据贝叶斯公式求出。

Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,...Bn为 S 的一个划分（也即类别）且有P（A）>0,P(Bi)>0, (i=1,2,…n),则下式

贝叶斯公式

称为Bayes公式。从公式可以看出基于贝叶斯决策的决策结果取决于实际已给出训练样本的类条件概率和先验概率。贝叶斯概率是通过先验知识和统计现有数据，使用概率的方法对某一事件未来可能发生的概率进行估计的。 

再举一个别人的例子：

假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。

堵车的概率就是先验概率</