1、决策树

• 有监督学习的分类算法

一、概念准备

1.1 、信息熵

• 系统有序程度的度量， 系统越有序信息熵越低。
• 系统的混乱程度， H(u) 越大， 越无序， H(u) 越下， 越有序
• 信息量的加权平均
  

1.2、信息增益

• 通常用来衡量某一个属性对于系统混乱程度的调整的幅度
• 如何计算
  • 基于某一个属性计算他的条件熵， 他对于原来信息的该变量叫信息增益
    

二、决策树准备

1. 首先我们要收集足够多的数据，如果数据收集不到位，将会导致没有足够的特征去构建错误率低的决策树
2. 数据特征充足，但是不知道用哪些特征好，也会导致最终无法构建出分类效果好的决策树。
3. 从算法方面来看的话，决策树的构建就是我们的核心内容。

三、算法发展

3.1 ID3

1. 筛选出具有分类能力的特征。如果利用一个特征进行分类的结果与随机分类的结果没有很大的差别，则称这个特征是没有分类能力的，经验上扔掉这些特征对决策树学习的精度影响不会很大。
2. 我们希望随着划分， 节点纯度越高，衡量纯度的指标就是信息熵。

3.2 C4.5

• 由于以上的缺点， 产生了C4.5
• 相比于ID3有哪些优点
  • 取信息增益率， 绝对值变成了相对值
  • 剪枝， 防止过拟合
  • 可以处理非离散数据
  • 处理不完整数据
    

3.3 CART 算法

3.4 C5.0

相关连接（笔记来自于视频课程的归类整理）：
[1]: https://edu.cda.cn/my/course/966/material?type=material