3.朴素贝叶斯算法（ Naive Bayes）

     朴素贝叶斯（Naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$。

     朴素贝叶斯算法给出实例属于各个类别的概率，然后选择概率最大的一类。贝叶斯决策理论的核心思想是选择具有最高概率的决策。

• 优点：在数据较少的情况下，仍然十分有效果
• 缺点：对于输入数据的准备方式比较敏感
• 适用数据类型：标称型数据

朴素贝叶斯假设：

     1. 所有特征都是独立的（即每个特征出现的可能性与其他特征无关）

     2. 每个特征都是同等重要的

一、贝叶斯定理

     先验概率（prior probability）：是指根据以往经验和分析得到的概率先验概率。在贝叶斯统计推断中，不确定数量的先验概率分布是在考虑一些因素之前表达对这一数量的置信程度的概率分布。例如，先验概率分布可能代表在将来的选举中投票给特定政治家的选民相对比例的概率分布。未知的数量可以是模型的参数或者是潜在变量。

     条件概率（又称后验概率）：P(A) 称为事件 A 的概率，P(A|B)成为事件A在另外一个事件B已经发生条件下的发生概率。读作“在B条件下A的概率”。根据概率论，给出以下的定义：
$$P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}$$

     联合概率表示两个事件共同发生的概率。A与B的联合概率表示为P(A∩B)或者P(A,B)。

     贝叶斯公式：

P ( B i , A ) = P ( B i ) P ( A ∣ B i ) ∑ i = 1 n P ( B i ) P ( A ∣ B i ) P(B_i,A)=\frac{P(B_i)P(A|B_i)}{\displaystyle\sum_{i=1}^{n} P(B_i)P(A|B_i)} P(Bi​,A)=