决策树

ID3算法，C4.5算法，CART算法

 

优点:计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。

缺点:可能会产生过度匹配问题。

适用数据类型:数值型和标称型。

 

 

1.收集数据:可以使用任何方法。

2.准备数据:树构造算法只适用于标称型数据，因此数值型数据必须离散化。

3.分析数据:可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。

4.训练算法:构造树的数据结构。

5.测试算法:使用经验树计算错误率。

6.使用算法:此步骤可以适用于任何监督学习算法发，而使用决策树可以更好地理解数据的内在含义。

 

划分数据集的大原则是：将无需的数据变得更加有序。

 

组织杂乱无章数据的一种方法就是使用信息论度量信息。

在划分数据集之前之后发生的变化称为信息增益。集合信息的度量方式称为香农熵或者简称为熵。

熵定义为信息的期望值。如果待分类的事务可能划分在多个分类之中，则

 

所有类别所有可能值包含的信息期望值，

 

另一种度量集合无序程度的方法是基尼不纯度

从一个数据集中随机选取子项，度量其被错误分类到其他分组里的概率。

 

决策树分类器就像带有终止块的流程图，终止块表示分类结果。开始处理数据集时，我们首先需要测量集合中数据的不一致性，也就是熵，然后寻找最优方案划分数据集，直到数据集中的所有数据属于同一分类。ID3算法可以用于划分标称型数据集。构建决策树时，我们通常采用递归的方法将数据集转化为决策树。