统计学习方法笔记 第四章 朴素贝叶斯(包含Python代码)

---

1. 朴素贝叶斯法的学习与分类

贝叶斯法求后验概率最大的输出做为输出，是一种生成模型。

1.1 基本方法

朴素贝叶斯方法通过训练数据集学习联合概率分布$P(X,Y)$,通过学习先验概率分布和条件概率分布，根据贝叶斯公式求得联合概率分布。朴素贝叶斯方法对于条件概率分布做出了条件独立性假设，即假设用于分类的特征在类确定的条件下都是条件独立的。

朴素贝叶斯法在分类时，将后验概率最大的类作为类输出，朴素贝叶斯分类器可以表示为：

$$y=f(x)=arg\underset{c_k}{\max }P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

1.2 后验概率最大化的含义

朴素贝叶斯方法的后验概率最大化等价于期望风险最小化。

---

2. 朴素贝叶斯法的参数估计

2.1 极大似然估计

朴素贝叶斯法的先验概率和条件概率应用极大似然估计计算：

$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\dots ,K$$

$$P(X^j=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_{}}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$