十大经典算法之C4.5

上次发了个数据挖掘的十大经典算法的18个候选算法，因时间问题没有对其进行详细的介绍。
这次想把这18个候选算法逐个做详细的介绍。
记得有一次听吴信东老师的讲座，吴老师说：“作为一个从事数据挖掘的研究者，如果连这18个算法都没听说过，那就是要自己反省一下了。”
所以就上网找了介绍，在这里想和大家一起学习。

 

#1. C4.5

Quinlan, J. R. 1993. C4.5: Programs for Machine Learning.
Morgan Kaufmann Publishers Inc.

决策树是如何工作的
决策树一般都是自上而下的来生成的。
选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。
从根到叶子节点都有一条路径，这条路径就是一条“规则”。
决策树可以是二叉的，也可以是多叉的。
对每个节点的衡量：
1)        通过该节点的记录数
2)        如果是叶子节点的话，分类的路径
3)        对叶子节点正确分类的比例。
有些规则的效果可以比其他的一些规则要好。

由于ID3算法在实际应用中存在一些问题，于是Quilan提出了C4.5算法，严格上说C4.5只能是ID3的一个改进算法。相信大家对ID3算法都很.熟悉了，这里就不做介绍。
    C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：
    1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；
    2) 在树构造过程中进行剪枝；
    3) 能够完成对连续属性的离散化处理；
    4) 能够对不完整数据进行处理。
    C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。此外，C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。