CART回归树和GBDT

CART 分为回归树和决策树。这里重点讲讲回归树的特征选择。

回归树选择特征的方法是：平方误差最小化。

具体步骤为：

1）依次遍历每个特征j，以及该特征的每个取值s，计算每个切分点（j,s）的损失函数，选择损失函数最小的切分点。

其中c1,c2分别为R1,R2区间内的输出平均值。

2）使用上步得到的切分点将当前的输入空间划分为两个部分

3）然后将被划分后的两个部分再次计算切分点，依次类推，直到不能继续划分。

4）最后将输入空间划分为M个区域R₁,R₂,…,R_M,生成的决策树为：

其中c_m为所在区域的输出值的平均值