机器学习-分类算法之朴素贝叶斯

条件概率公式:P(A|B) = P(AB)/P(B)

贝叶斯定理:P(A|B) = P(B|A)P(A)/P(B)

朴素贝叶斯算法思想:给定一个待分类的数据 X={a1,a2,……,aN},即N个特征项，目标分类集合Y={y1,y2,……,yK}，即有K个分类

通过计算P(yi|X)，分别计算K个分类的条件概率，然后取概率最大条件，假如为P(yj|X)，那么X就被分到了yj这个类别里

算法推导:

为了求最大的P(yi|X)，我们对P(yi|X)进行处理

P(yi|X) = P(X|yi)P(yi)/P(X)

那么就是求P(X|yi)P(yi)/P(X) 的最大值，由于P(X)概率一样，所以就是求P(X|yi)P(yi)的最大值

如果X的各个特征值是相互独立的:

所以P(X|yi) = P(a1|yi)P(a2|yi)….P(aN|yi)

那么P(X|yi)P(yi) = P(yi)P(a1|yi)P(a2|yi)….P(aN|yi)

所以就是求P(yi)P(a1|yi)P(a2|yi)….P(aN|yi) 的最大值

在训练样本中P(yi)的值是可以求出来的

在训练样本中每个分类下P(aj|yi)每个特征值的概率也是可以求出来的

进而就可以确定X数据的最终分类结果