统计学习方法第四章——朴素贝叶斯法

1、经典统计学

• 经典统计学对于小样本事件不能准确评估
• 例如：可以通过1000次抛硬币实验验证硬币正面朝上概率，但是对于日本地震这种事情的概率则无法预估
• 即经典统计学的基础就是大量的实验

2、贝叶斯思维

• 先验概率 + 调整因子 ==》后验概率
  （此图在看完朴素贝叶斯数学推导之后再看）

3、条件概率

4、贝叶斯定理：逆概率思维

• 正常概率思维：对于一个确定的类Ci，其中存在某个实例x的概率有多大
• 贝叶斯：已知一个实例，问其归属于某一类的概率有多大
  
  4.1 贝叶斯分类
  

5、朴素贝叶斯数学推导

• 若实例 x 有 n 个特征，那么假设这 n 个特征之间相互独立
  
  5.1 朴素贝叶斯分类
  

6、朴素贝叶斯

• 又称朴素贝叶斯分类器，本质是一个分类的方法
• 朴素贝叶斯 = 贝叶斯定理在特征条件独立假设下得到的

6.1 “朴素”

• 生成方法：学习联合概率分布P(x, y)，由此可以得到P(y | x)，然后进行分类结果的判断
• 判别方法：根据训练集直接学习决策函数f(x)，或者条件概率分布P(y | x)
• 朴素贝叶斯分类是一种生成方法

基本方法

6.2 后验概率最大化

• 图中推导表明期望风险最小化 ( 或简单理解为降低损失函数 ) 等价于后验概率最大化

7、极大似然估计

• 先验概率和条件概率的估计值通过极大似然法得到

7.1 极大似然估计原理

• 中心思想：概率最大化。极大似然最终解决的问题就是求得概率值。
• 似然函数与联合密度函数具有相同形式，但似然函数不是联合密度函数
• 联合密度函数：β已知
• 似然函数：X已知（即训练集），要估计参数β
  

7.2 极大似然估计实现

7.2.1 基础版实现

• 1、根据输入先得到概率密度函数
• 2、然后根据实验情况得到联合概率函数（关于参数β）
  假设实验样本独立，则条件概率似然函数 = 联合概率函数 = 每个样本概率密度函数累乘
• 3、遍历 β 的所有可能取值，选择最大的函数值对应的 β 值即为似然估计值
• 特别：若β取值太多，则这种遍历β所有可能取值的方式不现实

7.2.2 数值计算方法（进阶版）

• 整个过程
• 找到参数空间，每个参数都代入似然函数计算，选取最大值
• 参数太多，尝试求导=0（获得极大值点），以此求得解析解
• 如果函数没有解析解，利用迭代法求得一个近似的数值解

8、朴素贝叶斯“算法”

8.1 算法详解

• 贝叶斯算法目的就是首先通过训练数据集求出模型（先验概率和条件概率），然后将要分类数据代入模型，判断哪种类别其概率更大，则属于哪一类
• 1、计算先验概率和条件概率（通过数数方式即极大似然）
• 2、求解后验概率的分子，判断哪类的概率更大

9、贝叶斯估计

9.1 估计方法

9.2 为什么称作贝叶斯估计

• 当λ=0，是传统的频率方法，不再是贝叶斯估计，因为λ=0是假设参数的先验分布都是均匀分布时得到的

9.3 平滑思想是什么

• 加入λ的作用是为了防止过拟合，即最终的模型不能完全按照样本来推导出，因为样本本身存在各种噪声。
• 拉普拉斯平滑是λ=1时，此时当样本数量非常大时，λ=1基本可以忽略