决策树学习笔记

决策树学习笔记

---

决策树的基本概念

依托于策略抉择而建立起来的树。

是一个预测模型；代表对象属性与对象值之间的一种映射关系。

决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。

从数据产生决策树的机器学习技术叫做决策树学习, 通俗点说就是决策树，说白了，这是一种依托于分类、训练上的预测树，根据已知预测、归类未来。

ID3算法

ID3（Iterative Dichotomiser 3 ，迭代二叉树3代）是一个由Ross Quinlan发明的用于决策树的算法。

奥卡姆剃刀原理应用：越是小型的决策树越优于大的决策树（简单理论）。但不是总是生成最小的树形结构，而是一个启发式算法。

$Entropy(X) = E[I(X)]=E[-In(P(X))]$

刻画了样例集的不纯度。一种解释是确定要编码集合中的任意成员的分类所需要的最少二进制位数。

同理，信息增益$Gain(S,A)$的解释是知道了属性A后可以节省的二进制位数。

注意到信息增益由信息熵算出（变量都只是S）

ID3算法的核心思想就是以信息增益度量属性选择，选择分裂后信息增益最大的属性进行分裂。该算法采用自顶向下的贪婪搜索遍历可能的决策树空间。

先这么多