Naive Bayesian Classifier(朴素贝叶斯算法)

这里首先学习的是贝叶斯分类器的算法。

先验概率： 根据以往经验和分析得到的概率。 如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率·

后验概率： 是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计， 后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。

 

=====================================================================================

朴素贝叶斯分类器：

基于属性条件独立性假设，贝叶斯公式可以重写为

 其中d为属性数目xi为x在第i个属性上的取值。

由于对所有类别来说P(x)相同，因此：

 这是朴素贝叶斯分类器的表达式。显然朴素贝叶斯分类器的训练过程是基于训练集D来估计类先验概率P(c)，并为每个属性估计条件概率P(xi|c).

 

 

看一个例子：

 

 

 

 

如果属性值不是离散值，而是连续的值，那么我们怎么做呢？

对于连续的属性可考虑概率密度函数P(xi|c)~N(u,)

 

其中的均值和方差分别是第c类样本在第i个属性上取值的均值和方差。

也就是： 在同一个类别下，把i这个属性上的值求平均和方差。在另一个类，重新计算。

总结：

根据training的数据，分别计算在不同类别情况下 ， 每个属性的概率， 然后把他们同一个类别相乘。  →P(x|y)。

然后计算每个类别的先验概率，→P(y)

   然后P(x|y)*P(y)，然后比较大小，那个值大，就属于哪个类。