贝叶斯决策理论

贝叶斯决策理论

一、 简介

假设我们有一个样本（特征向量），用$X$表示。我们的总体被分为$g$个类别，记为$w_k(k=1,\dots g)$.

决策准则是一个函数，记为$\delta :{\mathbb{R}}^p\to \mathcal{A}$，其中 A = { a 1 , … , a c } \mathcal A = \{a_1,\dots,a_c\} A={ a1​,…,ac​}. 这里的$\mathcal{A}$我们称之为操作空间，或者操作集合，也就是说是我们通过决策函数之后所需要采取的动作。

我们希望能够在某个特定的准则之下得到最优的决策函数。在这篇文章中，我们只考虑只有一个特征的样本，即$p=1$.

---

二、奈曼-皮尔逊准则

1.定义

假设样本只有两个类别，即$g=2,\mathcal{A}=(a_1,a_2)$.

对$w_k$的条件概率密度函数：$f_k(x)=f(x\mid w_k)$

在$w_k$类中$X$属于某一个区间的概率：${\int }_a^b{f}_k(x)dx=\mathbb{P}(X\in [a,b]\mid Z=w_k)$

决策函数现在可以定义为：
$$\delta (x)=\{\begin{array}{ll}{a}_1& \text{ if }x\in {\mathcal{R}}_1\\ a_2& \text{ if }x\in {\mathcal{R}}_2\end{array}$$
这里的${\mathcal{R}}_1,{\mathcal{R}}_2$是决策区域。

这样，我们可以定义两类错误：属于$w_1$的样本被采取动作$a_2$和属于$w_2$的样本被采取动作$a_1$：
$$\begin{array}{rl}\alpha & =\mathbb{P}\left(\delta (X)=a_2|Z={\omega }_1\right)={\int }_{{\mathcal{R}}_2}{f}_1(x)dx\\ \beta & =\mathbb{P}\left(\delta (X)=a_1|Z={\omega }_2\right)={\int }_{{\mathcal{R}}_1}{f}_2(x)dx\end{array}$$
从下面的图中我们可以清晰地看出$\alpha$和$\beta$的定义。

如果从Sensibility和Specificity的角度来说，$\alpha =1-Specificity,\beta =1-Sensibility$. 具体的定义请看下一节。

2. 二分类混淆矩阵（Confusion matrix g=2）

在机器学习中，混淆矩阵是一种常用的用来评价算法性能的可视化方法。下面我们来看看二分类问题下的混下矩阵。
真假表示样本的真是类别，阴阳表示决策函数预测的样本类别。

	Positive 阳	Negtive 阴
True 真	TP 真阳例	FN 假阴例
False 假	FP 假阳例	TN 真阴例

从这张表，我们可以定义出几个常用而又容易混淆的率：
$$\begin{array}{rl}错误率(Errorrate)& =\frac{FN+FP}{TP+FN+FP+TN}\\ & \\ 准确率(Accuracy)& =\frac{TP+TN}{TP+FN+FP+TN}\\ & \\ 查准率(Precision精确度)& =\frac{TP}{TP+FP}\\ & \\ 查全率(Recallrate召回率)& =\frac{TP}{TP+FN}\\ & \\ TPR(Truepositiverate)& =\frac{TP}{TP+FN}\\ & \\ FPR(Falsepositiverate)& \\ & \\ F1-Score& \end{array}$$