西瓜书+实战+吴恩达机器学习（七）监督学习之决策树 Decision Tree

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

一颗决策树包含一个根节点、若干个内部节点、若干个叶子节点，叶子节点对应于决策结果，其他每个节点对应于一个属性测试。

构建决策树算法如下图所示（图源：机器学习）：

有以下三种情况递归返回：

• 当前节点的所有样本都属于同一个类别
• 当前可划分的属性集为空，或者属性集的取值都相同
• 当前节点的样本集为空

1. 划分选择

1.1. ID3决策树

信息熵（information entropy）越小，则节点纯度越高，其中$p_k$表示第$k$类样本所占比例：
$$Ent(D)=-\sum _{k=1}^{|K|}{p}_k{\log }_2{p}_k$$

信息增益（information gain）越大，则意味使用属性$a$划分获得的纯度提升越大，其中$D^v$表示为$D$中在属性$a$上取值为$a^v$的样本：
$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$

信息增益更偏向于选择取值较多的特征。

ID3决策树每次划分节点时，使用信息增益最大的属性。

1.2. C4.5决策树

增益率（gain ratio）在信息增益的基础上，除以属性$a$的固有值$IV(a)$，属性$a$取值数目越多，固有值$IV(a)$越大：
$$Gainratio(D,$$