朴素贝叶斯理论及分类

贝叶斯理论是托马斯.贝叶斯(Thomas Bayes)提出的，解释了在没有太多可靠信息的情况下如何做出做好的数学逻辑推测，即不了解事物的全貌进行判断。利用先验概率和已知信息概率推测后验概率，也可以描述两种不同条件概率关系。事件A在事件B（发生）的条件下的概率，与事件B在事件A（发生）的条件下的概率不一样，但存在某种关系。后验概率=条件概率/全概率。

概率模型的训练过程实际上是求参数估计的过程。似然函数（likelihood function）中的似然实际上是可能性的意思，是关于统计参数的函数。
贝叶斯定理的公式如下：

贝叶斯公式表明，我们可以从先验概率P(A)、条件概率P(B|A)和概率P(B)来计算出后验概率。
贝叶斯定理是贝叶斯分类的依据，是利用概率统计进行分类。
朴素贝叶斯，是一种简单但极为强大的预测建模算法。之所以称为朴素贝叶斯，是因为它假设每个输入变量是独立的。
朴素贝叶斯方法是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯方法是一种生成模型，对于给定的输入x，通过学习到的模型计算后验概率分布，将后验概率最大的类作为x的类输出。其中后验概率计算根据贝叶斯定理进行。最后的朴素贝叶斯分类模型为：