- 贝叶斯分类器:基于概率和误判损失来选择最优类别标记;
计算在样本上能使条件分险R(c|x)最小的类别标记,h*为贝叶斯最优分类器;
(1)概率:贝叶斯分类器是基于联合分布概率计算的一种生成式模型,其计算公式;
其中c为标签类别,x为特征;p(c)为类的先验概率;p(x|c)为样本x相对于类标记c的类条件概率,即“似然”;p(x)是用于归一化的证据因子,与类别标记无关;
☆先验概率:是指根据以往经验和分析得到的概率。
☆后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小。
(2)误判损失:基于后验概率获得样本x分类为ci所产生的期望损失;其计算公式:
- 朴素贝叶斯分类器:
针对贝叶斯分类器“无法从有限的训练样本数据属性值估计所有属性的联合概率”问题,提出了“属性条件独立假设”;其公式为:
其中d为属性数目,为x在第i个属性上的取值;
由于不同属性的归一化的证据因子相同,因此可以贝叶斯判断准则有
针对不同属性,即离散属性和连续属性的计算方法:
★离散属性:
先验概率:其中Dc为训练集D的第c类样本组成的集合;
条件概率:其中
为Dc中第i个属性上取值为xi的样本组合的集合;
★连续属性:考虑概率密度函数,假定 ,其中
分别是第C类样本在第i个属性值上取值的均值和方差;
◆计算实例:
基于西瓜数据集:
计算预测下表类别:
计算过程:
先验概率p(c):
P(好瓜=是)=8/17; p(好瓜=否)=9/17
不同属性值下的条件概率:
最终类别概率计算:
由于类别中存在某属性出现次数为0的情况,为了避免其他属性信息在训练过程中被未出现的属性值抹掉的问题,对估计概率值进行“平滑操作”,采用“拉普拉斯修正”。公式如下:
●半朴素贝叶斯分类器
基本思想:考虑一部分属性间存在相互依赖信息;
独依赖:假设每个属性在类别之外最多依赖一个其他属性;则计算其后验概率公式为:
其中属性
所依赖的父属性,分别计算不同类别和父属性条件下的条件概率;
关键问题:如何确定依赖父属性;
SPOED(Super-Parent ODE):假设所有属性都依赖于同一个属性,然后通过交叉验证等模型选择方法确定超父属性;
TAN:通过最大带权生成树算法,构建属性间依赖关系;其首先计算两属性之间的条件互信息 ,并将其设置为以属性为结点的结点间权重,并构建最大带权生成树,挑选根变量,将边置为有向并增加类别结点到各属性间的边。
AODE(averagedone-dependent estimator)是一种基于集成学习机制、更为强大的度依赖分类器。AODE尝试将每个属性作为超父来构建SPODE,然后将那些具有足够训练数据支持的SPODE集成起来作为最终结果;
Sklearn框架下的代码实现: