现在有天气,温度,湿度,风四个特征,来构造是否打球决策树。
问:究竟该选哪个变量做跟特征呢
第一步:观察数据,统计yes/no的个数 (no=5,yes=9), 算出目前的熵
第二步:对每个特征做节点时计算出信息熵
那么ID3算法,有什么bug吗??? of course yesss !!!
有的特征,分类种类多,每个种类所占样本少,这样算出来信息熵很高。比如,在这个例子中,假如现在有一个新的特征叫ID,ID共有14个种类(我们的数据正好14行),这样算出来gain最大。
为了解决这种情况,引入了信息增益率C4.5=信息增益率/自身的熵
在决策树的构造中还有另外一个问题