提升树—回归提升树

提升树（boosting tree）是以分类树或回归树为基本分类器的提升方法。

提升树模型

提升方法是采用加法模型与前向分步算法。以决策树为基函数的提升方法称为提升树。先来回顾一下加法模型算法：

输入：训练数据集 T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) , x i ∈ X ⊆ R n , y i ∈ { − 1 , 1 } T={(x_1,y_1),(x_2,y_2),...,(x_N, y_N)}, x_i \in \mathcal X \sube R^n, y_i\in \{-1, 1\} T=(x1​,y1​),(x2​,y2​),...,(xN​,yN​),xi​∈X⊆Rn,yi​∈{−1,1}， 损失函数$L(y,f(x))$; 基函数集合 { b ( x ; γ ) } \{b(x;\gamma)\} {b(x;γ)}

输出：加法模型$f(x)$

步骤：

1. 初始化$f_0(x)=0$
2. 对$m=1,2,\dots ,M$，极小化损失函数

$$({\beta }_m,{\gamma }_m)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma ))$$

3. 更新

$$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;{\gamma }_m)$$

4. 得到加法模型

$$f(x)=f_M(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$

所以，提升树模型可以表示为决策树的加法模型：
$$f_M(x)=\sum _{m=1}^{M}T(x;{\Theta }_m)$$
其中，$ T(x; \Theta_m)$ 表示决策树，${\Theta }_m$ 是决策树的参数，M 为决策树的个数。

提升树算法

提升树采用前向分步算法。首先确定初始提升树$f_0(x)=0$，第m步的模型是：
$$f_m(x)=f_{m-1}(x)+T(x;{\Theta }_m)$$
其中，$ f_{m-1}(x)$ 为当前模型，通过经验风险极小化确定下一棵决策树的参数${\Theta }_m$：
$${\hat{\Theta }}_m=\arg \underset{{\Theta }_m}{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\Theta }_m))$$
回归提升树与分类提升树学习算法的区别在于损失函数的不同：

（1）回归问题采用平方误差损失函数

（2）分类问题采用指数损失函数

给定训练集$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N),x_i\in \mathcal{X}\subseteq R^n,,y_i\in \mathcal{Y}\in \subseteq R$ ，如果将输入空间$\mathcal{X}$ 划分为$J$ 个不相交的区域$R_1,R_2\dots ,R_J$，并且每个区域上确定输出的常量$c_j$，那么树可以表示为：
$$T(x;\Theta )=\sum _{j=1}^J{c}_{j}I(x\in R_j)$$
其中，参数 Θ = { ( R 1 , c 1 ) , ( R 2 , c 2 ) , … , ( R J , c J ) } \Theta = \{(R_1,c_1),(R_2,c_2),\ldots,(R_J,c_J)\} Θ={(R1​,c1​),(R2​,c2​),…,(RJ​,cJ​)} 表示树的区域划分和各区域的常数。$J$ 是回归树的复杂度即叶子结点个数。

回归问题提升树使用前向分步算法：
$$\begin{array}{rl}& f_0(x)=0\\ & f_m(x)=f_{m-1}(x)+T(x;{\Theta }_m),m=1,2,\dots ,M\\ & f_M(x)=\sum _{m=1}^{M}T(x;{\Theta }_m)\end{array}$$
在前向分步算法的第m步，给定当前模型$f_{m-1}(x)$，需求解：
$${\hat{\Theta }}_m=\arg \underset{{\Theta }_m}{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\Theta }_m))$$
当采用平方误差损失函数时：
$$L(y,f(x))=(y-f(x){)}^2$$
其损失变为：
$$L(y,f_{m-1}(x)+T(x;{\Theta }_m))=[y-f_{m-1}(x)-T(x;{\Theta }_m){]}^2=[r-T(x;{\Theta }_m){]}^2$$
这里，
$$r=y-f_{m-1}(x)$$
是当前模型拟合数据的残差。所以，回归问题的提升树算法来说，只需要简单的拟合当前模型的残差。

回归问题的提升树算法

输入：训练数据集$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N),x_i\in \mathcal{X}\subseteq R^n,y_i\in \mathcal{Y}\in \subseteq R$

输出：提升树$f_M(x)$

步骤：

1. 初始化$f_0(x)=0$

2. 对$m=1,2,\dots ,M$

   （a）计算残差
   $$r_{mi}=y_i-f_{m-1}(x_i),i=1,2,\dots ,N$$
   （b）拟合残差$r_{mi}$学习一个回归树，得到$T(x;{\Theta }_m)$

   （c）更新$f_m(x)=f_{m-1}(x)+T(x;{\Theta }_m)$

3. 得到回归问题提升树
   $$f(x)=f_M(x)=\sum _{m=1}^{M}T(x;{\Theta }_m)$$