[机器学习]决策树

一、理论

ref3 chapter 9

ref1 chapter 4

1. 总是搞不清几种决策树的名字

名字   划分选择

ID3     信息增益

C4.5   增益率  

          与ID3类似，校正了ID3偏向于选择取值较多的特征的问题

CART 基尼系数

        学的是二叉树，用于 回归（如最小二乘回归树）+分类

2. 决策树学习三个步骤：特征选择，决策树的生成，决策树的修剪3.

3. 剪枝：预剪枝+后剪枝

CART预剪枝：ref2 chapter 9.4

CART后剪枝：方法1--ref3 chapter 5.5.2；

                        方法2--ref2 chapter 9.4 程序9-3

二、 实践

1. ref2 第3章，ID3决策树，python语言

2. ref2 第9章，CART回归树，python 

            回归树 -- 叶节点所用模型是常数；模型树 -- 叶节点所用模型是回归方程

ref1 《机器学习》（周志华）

ref2 《机器学习实战》（Peter）

ref3 《统计学习方法》