机器学习算法——决策树（Decision Tree）

决策树在分类、预测、规则提取等方面有着广泛应用，是一种基本的分类与回归方法。包括ID3 、c4.5、CART算法。决策树的生成是一个递归的过程。在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。与其他算法相比，决策树的原理浅显易懂，计算复杂度较小，而且输出结果易于理解。

分类决策树模型是一种描述对实例进行分类的树形结构。决策树由节点与有向边组成。节点有两种类型:内部结点和叶节点，内部结点表示一个特征或者属性，叶节点表示一个类。

分类的时候，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子节点；此时，每一个子节点对应着该特征的一个取值。如此递归向下移动，直至达到叶节点，最后将实例分配到叶节点的类中。

决策树学习算法包括特征选择，决策树的生成与剪枝过程。决策树的学习算法通常是通过递归来选择最优特征，并用最优特征对数据集进行分割。开始时，构建根结点，选择最优特征，该特征有几种值就分割为几个子集，每个子集分别递归调用此方法，返回节点就是上一层的子节点，直到所有特征都已经用完，或者数据集只有一维特征为止。