统计学习方法 第二版 读书笔记_第五章 决策树

第五章 决策树

对于决策树最直观的理解, 可以认为是很多个if-then规则的集合, 主要有点是模型具有可读性, 分类速度快. 决策树的学习通常包含三个步骤: 特征选择, 决策树的生成和决策树的剪枝.

5.1 决策树模型与学习

5.1.1 决策树模型

定义5.1(决策树)

分类决策树模型是一种描述对实例进行分类的树形结构. 决策树由节点node和有向边directed edge组成. 节点有两种类型: 内部节点internal node和叶节点leaf node. 内部节点表示一个特征或属性, 叶节点单表示一个类.

https://www.bilibili.com/video/BV1RC4y1p7wX?p=3

5.1.2 决策树与if-then规则

https://www.bilibili.com/video/BV1RC4y1p7wX?p=4

5.1.3 决策树与条件概率分布

https://www.bilibili.com/video/BV1RC4y1p7wX?p=5

5.1.4 决策树学习

决策树学习的损失函数通常是正则化的极大似然函数. 决策树学习的策略是以损失函数为目标函数的最小化

https://www.bilibili.com/video/BV1RC4y1p7wX?p=6

决策树生成对应于模型的局部选择，决策树剪枝对应于模型的全局选择。
决策树的生成只考虑局部最优, 相对的, 决策树的剪枝则考虑全局最优
决策树学习常用的算法有ID3, C4.5和CART

5.2 特征选择

5.2.1 特征选择问题

https://www.bilibili.com/video/BV1RC4y1p7wX?p=7

5.2.2 信息增益

https://www.bilibili.com/video/BV1RC4y1p7wX?p=8
https://www.bilibili.com/video/BV1RC4y1p7wX?p=9

为了便于说明, 先给出熵与条件熵的定义
在信息论与概率统计中, 熵entropy是表示随机变量不确定性的度量. 设X是一个取有限个值的离散随机变量, 其概率分布为:
$$P(X=x_i)=p_i,i=1,2,...,n$$
则随机变量X的熵定义为
$$H(X)=-\sum _{i=1}^n{p}_{i}log{p}_i$$
若$p_i=0$则定义$0log0=0$. 通常, 对数以2为敌或以e为底, 这时熵的单位分别称作为比特bit或纳特nat. 由定义可知, 熵只依赖于X的分布, 而与X的取值无关, 所以也可将X的熵记作$H(p)$, 即
$$H(p)=-\sum _{i=1}^n{p}_{i}log{p}_i$$
熵越大, 随机变量的不确定性越大. 从定义可验证
$$0\le H(p)\le logn$$
当随机变量只取两个值, 列如1, 0时, 即X的分布为
$$P(X=1)=p,P(X=0)=1-p,0\le p\le 1$$
熵为
$$H(p)=-plo{g}_{2}p-(1-p)lo{g}_2(1-p)$$
当p=0或p=1时,$H(p)=0$, 随机变量完全没有不确定性, 当p=0.5时, $H(p)=1$, 熵取值最大, 随机变量不确定性最大.
设随机变量(X, Y), 其联合概率分布为
$$P(X=x_i,Y=y_i)=p_{ij},i=1,2,...,n;j=1,2,...,m$$
条件熵$H(Y|X)$表示在已知随机变量X的条件下随机变量Y的不确定性. 随机变量X给定的条件下随机变量Y的条件熵conditional entropy H(Y|X), 定义为X给定条件下Y的条件概率分布的熵对X的数学期望
$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$
这里, $p_i=P(X=x_i),i=1,2,...,n$
当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时, 所对应的熵与条件熵分别称为经验熵empirical entropy 和经验条件熵empirical conditional entropy. 此时, 如有有0概率, 令0log0=0.

熵和信息熵的定义, 可参考王木头视频
https://www.bilibili.com/video/BV15V411W7VB

信息增益information gain表示得知特征X的信息而使得类Y的信息的不确定性减少的程度.

定义5.2(信息增益)

特征A对训练数据集D的信息增益$g(D,A)$, 定义为集合D的经验熵$H(D)$与特征A给定条件下D的经验条件熵$H(D|A)$之差, 即
$$g(D,A)=H(D)-H(D|A)$$
一般的, 熵$H(Y)$与条件熵$H(Y|X)$之差称为互信息mutual information. 决策树学习中的信息增益等价于训练数据集中类与特征的互信息.
决策树学习应用信息增益准则选择特征. 给定训练数据集D和特征A, 经验熵$H(D)$表示对数据集D进行分类的不确定性. 而经验条件熵$H(D|A)$表示在特征A给定的条件下对数据集D进行分类的不确定性. 那么他们的差, 即信息增益, 就表示由于特征A而使得数据集D的分类的不确定性减少的程度. 显然, 对于数据集D而言, 信息增益依赖于特征, 不同的特征往往具有不同的信息增益. 信息增益大的特征具有更强的分类能力.
根据信息增益准则的特征选择方法是: 对悬链数据集(或子集)D, 计算其每个特征的信息增益, 并比较他们的大小, 选择信息增益最大的特征.
设训练数据集为D,|D|表示样本容量, 即样本个数. 设有K个类$C_k,k=1,2,...,K,|C_k|为属于类C_k的样本个数,\sum _{k=1}^K|C_k|=|D|$. 设特征A有n个不同的取值 { a 1 , a 2 , . . . , a n } \{a_1, a_2,...,a_n\} {a1​,a2​,...,an​}, 根据特征A的取值将D划分为n个子集$D_1,D_2,...,D_n,|D_i|为D_i的样本个数,\sum _{i=1}^n|D_i|=|D|$. 记子集$D_i$中属于类$C_k$的样本的集合为$D_{ik}$, 即$Dij=D_i\cap C_k$

算法5.1 (信息增益算法)

输入: 训练数据集D和特征A
输出: 特征A对训练数据集D的信息增益$g(D,A)$
(!) 计算数据集D的经验熵$H(D)$
$$H(D)=-\sum _{k=1}^K\frac{|C_k|}{D}lo{g}_2\frac{|C_k|}{|D|}$$
(2) 计算特征A对数据集D的经验条件熵$H(D|A)$
$$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}lo{g}_2\frac{|D_{ik}|}{|D_i|}$$
(3) 计算信息增益
$$g(D|A)=H(D)-H(D|A)$$

5.3.3 信息增益比

以信息增益作为划分训练数据集的特征, 存在偏向于选择取值较多的特征的问题. 使用信息增益比information gain ratio 可以对这一问题进行校正

定义5.3 (信息增益比)

特征A对训练数据集D的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练数据集D关于特征A的值与熵$H_A(D)$之比, 即
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
其中, $H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|},n是特征A取值的个数$

https://www.bilibili.com/video/BV1RC4y1p7wX?p=11

5.3 决策树的生成

5.3.1 ID3算法

ID3算法的核心是在决策树各个节点上应用信息增益准则选择特征, 递归地构建决策树. 具体方法是: 从根节点root node开始, 对结点计算所有可能的特征的信息增益, 选择信息增益最大的特征作为结点的特征, 由该特征的不同取值建立子节点; 再对子节点递归的调用以上方法, 构建决策树; 知道所有特征的信息增益均很小或没有特征可以选择为止. 最后得到一颗决策树. ID3相当于用极大似然法进行概率模型的选择.

算法5.2 (ID3算法)

输入: 训练数据集D, 特征集A阈值$ϵ$;
输出: 决策树T.
(1) 若D中所有实例属于同一类$C_k$, 则T为单结点树, 并将类$C_k$作为该结点的类标记, 返回T
(2) 若$A=\varphi$, 则T为单结点树, 并将D中实例数最大的类$C_k$作为该结点的类标记, 返回T
(3) 否则, 按算法5.1计算A中各特征对D的信息增益, 选择信息增益最大的特征$A_g$
(4) 如果$A_g$的信息增益小于阈值$ϵ$, 则置T为单结点树, 并将D中实例数最大的类$C_k$作为该结点的类标记, 返回T
(5) 否则, 最$A_g$的每一可能值$a_i$, 依$A_g=a_i$将D分割为若干非空子集$D_i$, 将$D_i$中实例数最大的类作为标记, 构建子结点, 由结点及其子结点构成树T, 返回T
(6) 对第i个子结点, 以$D_i$为训练集, 以 A − { A g } A-\{A_g\} A−{Ag​}为特征集, 递归地调用步(1)~步(5), 得到子树$T_i$, 返回$T_i$
ID3算法只有树的生成, 所以该算法生成树容易产生过拟合.

https://www.bilibili.com/video/BV1RC4y1p7wX?p=12

5.3.2 C4.5的生成算法

C4.5在生成的过程中, 用信息增益比来选择特征

算法5.3 (C4.5的生成算法)

输入: 训练数据集D, 特征集A阈值$ϵ$;
输出: 决策树T.
(1) 若D中所有实例属于同一类$C_k$, 则T为单结点树, 并将类$C_k$作为该结点的类标记, 返回T
(2) 若$A=\varphi$, 则T为单结点树, 并将D中实例数最大的类$C_k$作为该结点的类标记, 返回T
(3) 否则, 按算法5.10计算A中各特征对D的信息增益比, 选择信息增益比最大的特征$A_g$
(4) 如果$A_g$的信息增益比小于阈值$ϵ$, 则置T为单结点树, 并将D中实例数最大的类$C_k$作为该结点的类标记, 返回T
(5) 否则, 最$A_g$的每一可能值$a_i$, 依$A_g=a_i$将D分割为若干非空子集$D_i$, 将$D_i$中实例数最大的类作为标记, 构建子结点, 由结点及其子结点构成树T, 返回T
(6) 对第i个子结点, 以$D_i$为训练集, 以 A − { A g } A-\{A_g\} A−{Ag​}为特征集, 递归地调用步(1)~步(5), 得到子树$T_i$, 返回$T_i$

https://www.bilibili.com/video/BV1RC4y1p7wX?p=13

5.4 决策树的剪枝

https://www.bilibili.com/video/BV1RC4y1p7wX?p=14

决策树的剪枝往往通过最小化决策树整体的损失函数loss function或代价函数cost function来实现. 设树T的叶结点个数为$|T|,t是树T的叶结点,该叶结点有N_t个样本点,其中k类的样本点有N_{tk}个,k=1,2,...,K,H_t(T)为叶结点t上的经验熵,\alpha \ge 0为参数,则决策树学习的损失函数可以定义为$
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$$
SUM(每个叶子结点 * 叶子结点有多少个样本)
其中经验熵为
$$H_t(T)=-\sum _k\frac{N_{tk}}{N_t}log\frac{N_{tk}}{N_t}$$
在损失函数中, 将式右端的第一项记作
$$C(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)=-\sum _{t=1}^{|T|}\sum _{k=1}^K{N}_{tk}log\frac{N_{tk}}{N_t}$$
这时有
$$C_{\alpha }(T)=C(T)+\alpha |T|$$
$C(T)$表示模型对训练数据的预测误差, 即模型与训练数据的拟合程度, $|T|$表示模型复杂度, 参数$\alpha \ge 0$控制两者间的影响. 较大的$\alpha$促使选择较简单的模型(树), 较小的$\alpha$促使选择较复杂的模型(树). $\alpha =0$意味着只考虑模型与训练数据的拟合程度, 不考虑模型的复杂度.
可以看出, 决策树生成只考虑了通过提高信息增益(或信息增益比)对训练数据进行更好的拟合. 而决策树剪枝通过优化损失函数还考虑了减小模型复杂度. 决策树生成学习局部的模型, 而决策树剪枝学习整体的模型.
以上损失函数的最小化等价于正则化的极大似然估计. 所以, 利用损失函数最小原则进行剪枝就是用正则化的加大似然估计进行模型选择.

算法5.4 (树的剪枝算法)

输入: 生成算法产生的整个树T, 参数$\alpha$
输出: 修剪后的子树$T_{\alpha }$
(1) 计算每个结点的经验熵
(2) 递归的从树的叶结点向上回缩
设一组叶结点回缩到其父结点之前与之后的整体树分别为$T_B$与$T_A$, 其对应的损失函数值分别是$C_{\alpha }(T_B)与C_{\alpha }(T_A)$, 如果
$$C_{\alpha }(T_A)\le C_{\alpha }(T_B)$$
则进行剪枝, 即将父结点变为新的叶结点
(3) 返回(2), 直至不能继续为止, 得到损失函数最小的子树$T_{\alpha }$
注意, 只需要考虑两个树的损失函数的差, 其计算可以在局部进行, 所以, 决策树的剪枝算法可以由一种动态规划的算法实现, 类似的动态规划算法可参考以下链接

动态规划
https://www.bilibili.com/video/BV1AB4y1w7eT
https://www.bilibili.com/video/BV1ET4y1U7T6

5.5 CART算法

classification and regression tree

https://www.bilibili.com/video/BV1RC4y1p7wX?p=15

CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法. CART假设决策树是二叉树, 内部结点特征的取值为是和否, 左分支是取值为是的分支, 右分支是取值为否的分支. 这样的决策树等价于递归的二分每个特征, 将输入空间即特征空间划分为有限个单元, 并在这些单元上确定预测的概率分布, 也就是在输入给定的条件下输出的条件概率分布.
CART算法由以下两步组成：
（1）决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大；
（2）决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。

5.5.1 CART生成

https://www.bilibili.com/video/BV1RC4y1p7wX?p=16
https://www.bilibili.com/video/BV1RC4y1p7wX?p=17
决策树的生成就是递归的构建二叉决策树的过程. 对回归树用平方误差最小化准则, 对分类树用基尼指数Gini index最小化准则, 进行特征选择, 生成二叉树.

1. 回归树的生成
   略

算法5.5 (最小二乘回归树生成算法)

略

2. 分类树的生成
   分类树用基尼指数选择最优特征,同时决定该特征的最优二值切分点

定义5.4 (基尼系数)

分类问题中, 假设有K个类, 样本点属于第k个类的概率为$p_k$, 则概率分布的基尼指数定义为
$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$
对于二分类风问题, 若样本点属于第1个类的概率是p, 则概率分布基尼指数为
$$Gini(p)=2p(1-p)$$
对于给定的样本集合D, 其基尼指数为
$$Gini(D)=1-\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2$$
这里, $C_k是D种属于第k类的样本子集,K是类的个数$

$如果样本集合D根据特征A是否取某一可能值a被分割为D_1和D_2两部分,即$
$$D_1=\{(x,y)\in D|A(x)=a\},D_2=D-D_1$$
则在特征A的条件下, 集合D的基尼指数定义为
$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$
基尼指数Gini(D)表示D的不确定性, 基尼指数Gini(D, A)表示经A=a分割后集合D的不确定性. 基尼指数值越大, 样本集合的不确定性也就越大, 这一点与熵相似.

Gini系数越大, 样本不确定性越大, 这点与熵相似

算法5.6 (CART生成算法)

https://www.bilibili.com/video/BV1RC4y1p7wX?p=18
https://www.bilibili.com/video/BV1RC4y1p7wX?p=19

输入: 训练数据集D, 停止计算的条件
输出: CART决策树
根据训练数据集, 从根节点开始, 递归的对每个结点进行以下操作, 构建二叉决策树
(1) $设结点的训练数据集为D,计算现有特征对该数据集的基尼指数.此时,对每一个特征A,对其可能取的每个值a,根据样本点对A=a的测试为"是"或"否"将D分给成D_1和D_2两部分,计算A=a时的基尼指数$
(2) $在所有可能的特征A以及他们所有可能的切分点a中,选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点.依最优特征与最优切分点,从现结点生成两个子结点,将训练数据集依特征分配到两个子结点中去$
(3) 对两个子结点递归地调用(1), (2), 直至满足停止条件
(4) 生成CART决策树
算法停止计算的条件是结点中的样本个数小于预定阈值, 或样本集的基尼指数小于预定阈值(样本基本属于同一类), 或者没有更多特征

5.5.2 CART剪枝

https://zhuanlan.zhihu.com/p/76709712

CART剪枝算法从"完全生长"的决策树的底端减去一些子树, 使决策树变小(模型变简单), 从而能够对位置数据由更准确的预测. CART剪枝算法由两步组成: 首先从生成算法产生的决策树$T_0$底端开始不断剪枝, 知道$T_0$的根结点, 形成一个子树序列 { T 0 , T 1 , . . . , T n } \{T_0, T_1, ..., T_n\} {T0​,T1​,...,Tn​}; 然后通过交叉验证法在独立的验证数据集上对子树序列进行测试, 从中选择最优子树.

1. 剪枝, 形成一个子树序列
   在剪枝过程中, 计算子树的损失函数:
   $$C_{\alpha }(T)=C(T)+\alpha |T|$$
   其中, T为任意子树, $C(T)$为对训练数据集的预测误差(如基尼系数), $|T|$为子树的叶结点个数, $\alpha \geq 0 $为参数, $C_{\alpha }(T)$为参数是$\alpha$时的子树T的整体损失. 参数$\alpha$权衡训练数据的拟合程度与模型的复杂度.
   对固定的$\alpha$, 一定存在使损失函数$C_{\alpha }(T)$最小的子树, 将其表示为$T_{\alpha }$. $T_{\alpha }$在损失函数$C_{\alpha }(T)$最小的意义下市最优的. 容易验证这样的最优子树是唯一的. 当$\alpha$大的时候, 最优子树$T_{\alpha }$偏小; 当$\alpha$小的时候, 最优子树$T_{\alpha }$偏大. 极端情况, 当$\alpha =0$时, 整体树是最优的. 当$\alpha \to \infty$时, 根结点组成的单结点树是最优的.
   证明略…
2. 在剪枝得到的子树序列$T_0,T_1,T_2,...T_n$中通过交叉验证选取最优子树$T_{\alpha }$

算法5.7 (CART剪枝算法)

输入: CART算法生成的决策$T_0$
输出: 最优决策树$T_{\alpha }$
(1) 设$k=0,T=T_0$
(2) 设$\alpha =+\infty$
(3) 自下而上地对各内部结点$t$计算$C(T_t),|T_t|$以及
$$\begin{gathered} g(t)=\frac{C(t)-C(T_t)}{|T_t|-1} \\ \alpha =min(\alpha ,g(t)) \end{gathered}$$
这里, $T_t$表示以t为根结点的子树, $C(T_t)$是对训练数据的预测误差, $|T_t|$是$|T_t|$的叶结点个数.
(4) $g(t)=\alpha$的内部结点t进行剪枝, 并对叶结点t以多数表决法决定其类, 得到树T
(5) 设$k=k+1,{\alpha }_k=\alpha ,T_k=T$
(6) 如果$T_k$不是由根结点及两个叶结点构成的树, 则回到步骤(2); 否则令$T_k=T_n$
(7) 采用交叉验证法在子树序列$T_0,T_1,...T_n$中选取最优子树$T_{\alpha }$

本章概要

1. 分类决策树模型是表示基于特征对实例进行分类的树形结构. 决策树可以转换成一个if-then规则的集和, 也可以看做是定义在特征空间划分上的类的条件概率分布.
2. 决策树学习旨在构建一个与训练数据拟合很好, 并且复杂度小的决策树. 因为从可能的决策树中直接选取最优决策树是NP完全问题. 现实中采用启发式方法学习次优的决策树.
   决策树学习算法包括3部分: 特征选择, 树的生成和树的剪枝. 常用的算法有ID3, C4.5, CART.
3. 特征选择的目的在于选取对训练数据能够分类的特征. 特征选择的关键是其准则. 常用的准则如下:
   (1) 样本集合D对特征A的信息增益(ID3)
   $$\begin{gathered} g(D,A)=H(D)-H(D|A) \\ H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|} \\ H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i) \end{gathered}$$
   其中, $H(D)$是数据D的熵, $H(D_i)$是数据集$D_i$的熵, $H(D|A)$是数据集D对特征A的条件熵. $D_i$是D中特征A取第i个值的样本子集, $C_k$是D中属于第k类的样本子集, n是特征A取值的个数, K是类的个数
   (2) 样本集合D对特征A的信息增益比(C4.5)
   $$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
   其中, $g(D|A)$是信息增益, $H_A(D)$是D关于特征A的值的熵
   (3) 样本集合D的基尼指数(CART)
   $Gini(D)=1-\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2$
   特征A条件下集合D的基尼指数:(二分类)
   $Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$
4. 决策树的生成. 通常使用信息增益最大, 信息增益比最大或基尼指数最小作为特征选择的标准. 决策树的生成往往通过计算信息增益或其他指标, 从根节点开始, 递归的产生决策树. 这相当于用信息增益或其他准则不断的选取局部最优的特征, 或将训练集分割为能够基本准确分类的子集.
5. 决策树的剪枝. 由于生成的决策树存在过拟合问题, 需要对它进行剪枝, 以简化学到的决策树. 决策树的剪枝, 往往从已生成的树上减掉一些叶节点或叶节点以上的子树, 并将其父节点或根节点作为新的叶节点, 从而简化生成的决策树.