模型树推广了回归树的概念,它与回归树的2个重要不同在于:
- 叶节点上不是常量,而是一个线性函数模型。
- 分割空间的标准不是降低平方误差,而是降低样本标准差。
相比于回归树,模型树的优点在于:回归树的计算量随着维度的增加而迅速增加,但模型树比模型小得多,所以模型树在处理高维(数百)数据时会比较轻松。由于叶节点是采用的是线性函数而非常量,所以预测的精度更高。
M5模型树划分的标准是:将一个节点覆盖的样本的Y值(即目标属性值)的标准差看作误差的度量。计算SDR(standard deviation reduction)