理解xgboost与gbdt区别

Xgboost和gbdt区别

【 Xgboost用了】

• 泰勒公式展开即用到了二阶，普通GBDT(提升树)只用到了一阶
• L1正则化和L2正则化
• 可使用column(feature) sampling来防止过拟合
• 近似寻找分裂节点算法
  **

1 Xgboost的多棵树集成概念

tree1和tree2中，男生判断喜欢电脑游戏的概率=2+0.9=2.9
tree1和tree2中，老人判断喜欢电脑游戏的概率=-1-0.9=-1.9

2 Xgboost的学习策略

将已经学习的树固定,每次向其中添加一棵新的树，每次是训练这棵新树的结构和叶子分数
$$\begin{array}{rl}& {\hat{y}}_i^{(0)}=0\\ & {\hat{y}}_i^{(1)}=f_1(x_i)={\hat{y}}_i^{(0)}+f_1(x_i)\\ & {\hat{y}}_i^{(2)}=f_1(x_i)+f_2(x_i)={\hat{y}}_i^{(1)}+f_2(x_i)\\ & {\hat{y}}_i^{(3)}=f_1(x_i)+f_2(x_i)+f_3(x_i)={\hat{y}}_i^{(2)}+f_3(x_i)\\ & {\hat{y}}_i^{(4)}=f_1(x_i)+f_2(x_i)+f_3(x_i)+f_4(x_i)={\hat{y}}_i^{(3)}+f_4(x_i)\\ & {\hat{y}}_i^{(t)}=\sum _{k=1}^t{f}_k(x_i)={\hat{y}}_i^{(t-1)}+f_t(x_i)\end{array}$$

3 Xgboost的优化函数

3.1 Xgboost原始优化函数

$$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{i=1}^t\Omega (f_i)\\ & =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)+constant\end{array}$$
其中$\Omega (f_t)$是正则化项，$t$是第$t$棵树，$n$是第n个数据样本

3.2 选定MSE(均方差)作为损失函数

则原始优化函数变成如下形式(展开)：
$$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{i=1}^t\Omega (f_i)\\ & =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)+constant\\ & =\sum _{i=1}^n(y_i-({\hat{y}}_i^{(t-1)}+f_t(x_i)){)}^2+\Omega (f_t)+constant\\ & =\sum _{i=1}^n(({\hat{y}}_i^{(t-1)}+f_t(x_i))-y_i{)}^2+\Omega (f_t)+constant\\ & ={\sum _{i=1}^n\left[({\hat{y}}_i^{(t-1)}-y_i)+f_t(x_i)\right]}^2+\Omega (f_t)+constant\\ & =\sum _{i=1}^n\left[2({\hat{y}}_i^{(t-1)}-y_i)f_t(x_i)+f_t{(x_i)}^2\right]+\Omega (f_t)+constant\end{array}$$
【注意】$({\hat{y}}_i^{(t-1)}-y_i{)}^2$是常数项，归并到$constant$
这样函数里存在一阶残差项和平方项。

3.3 直接选定泰勒公式展开

根据$f(x+\Delta x)\approx f(x)+f^{\prime }(x)\Delta x+\frac{1}{2}{f}^{\prime \prime }(x)\Delta x^2$：
当$x={\hat{y}}_i^{(t-1)}=从0到t-1棵树的累加预测值$，$\Delta x=f_t(x_i)=第t棵树的函数预测值$时：
即：$x+\Delta x={\hat{y}}_i^{(t-1)}+f_t(x_i)$
即：
$$\begin{array}{rl}f(x+\Delta x)& \approx f(x)+f^{\prime }(x)\Delta x+\frac{1}{2}{f}^{\prime \prime }(x)\Delta x^2\\ l({\hat{y}}_i^{(t-1)}+f_t(x_i))& \approx l({\hat{y}}_i^{(t-1)})+l^{\prime }({\hat{y}}_i^{(t-1)})f_t(x_i)+\frac{1}{2}{l}^{\prime \prime }({\hat{y}}_i^{(t-1)}){f_t}^2(x_i)\\ & \approx f({\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f_t}^2(x_i)\end{array}$$
其中：
$$\begin{array}{rl}& g_i={l^{\prime }}_t({\hat{y}}_i^{(t-1)})\\ & h_i={l^{\prime \prime }}_t({\hat{y}}_i^{(t-1)})\end{array}$$

则
$$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{i=1}^t\Omega (f_i)\\ & =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)+constant\\ & =\sum _{i=1}^n\left[l(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)\right]+\Omega (f_t)+constant\end{array}$$
其中：
$$\{\begin{array}{rl}& g_i=\frac{\partial l(y_i,{\hat{y}}_i^{(t-1)})}{\partial {\hat{y}}_i^{(t-1)}}\\ & h_i=\frac{{\partial }^{2}l(y_i,{\hat{y}}_i^{(t-1)})}{\partial {({\hat{y}}_i^{(t-1)})}^2}\end{array}$$
$【注意】y_i是实际值，l(y_i,{\hat{y}}_i^{(t-1)})是关于{\hat{y}}_i^{(t-1)}的函数，则g_i是关于{\hat{y}}_i^{(t-1)}的一阶导数$
$因为{\hat{y}}_i^{(t-1)}是关于样本点上的从0到t-1棵树的累加预测值是已知的$
$将样本点代入一阶导函数可求得实际值$

3.4 第$t$棵树的函数$f_t(x)$

目标函数经过上面推导只依赖：每个样本点在优化函数上的一阶导和二阶导
如下对$f_t$定义如下，树的信息量拆分为结构部分$q$和叶子权重部分$w$:
$$f_t(x)=w_q(x)$$

3.5 树的复杂度(正则化)

$$\Omega (f_t)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$
【其中】$T$为叶子个数，$w_j$为叶子的系数(权重)

3.6 用叶子系数表示优化函数

$因为当优化第t棵树时，{\hat{y}}_i^{(t-1)}=从0到t-1棵树的累加预测值是已知的，且y_i是实际值$
$所以\sum _{i=1}^n\left[l(y_i,{\hat{y}}_i^{(t-1)})\right]是已知的，属于常量$，且
$f_t(x)=w_q(x)$，则
$$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{i=1}^t\Omega (f_i)\\ & =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)+constant\\ & =\sum _{i=1}^n\left[l(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)\right]+\Omega (f_t)+constant\\ & =\sum _{i=1}^n\left[g_i{f}_t(x)+\frac{1}{2}{h}_i{f}_t^2(x_i)\right]+\left[\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2\right]+\sum _{i=1}^n\left[l(y_i,{\hat{y}}_i^{(t-1)})\right]+constant\\ & =\sum _{i=1}^n\left[g_i{w}_{q(x_i)}+\frac{1}{2}{h}_i{w}_{q(x_i)}^2\right]+\left[\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2\right]+constant\end{array}$$
$因为n个样本点是落在T个不同叶子节点上，则可以等价按照不同叶子节点将所有的n个样本点进行区分$，即：
$按T将落在同一叶子节点上的样本点进行求和$，则：
$$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{i=1}^t\Omega (f_i)\\ & =\sum _{i=1}^n\left[g_i{w}_{q(x_i)}+\frac{1}{2}{h}_i{w}_{q(x_i)}^2\right]+\left[\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2\right]+constant\\ & =\sum _{j=1}^T\left[(\sum _{i\in I_j}{g}_i)w_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i\text{+}\lambda )w_j^2\right]+\gamma T\\ & =\sum _{j=1}^T\left[G_j{w}_j+\frac{1}{2}\text{(}{H}_j\text{+}\lambda )w_j^2\right]+\gamma T\end{array}$$
【注意】$G_i=\sum _{i\in I_j}{g}_i,H_i=\sum _{i\in I_j}{h}_i$, ${\mathbf{I}}_{\mathbf{j}}是没落在第\mathbf{j}个叶子节点上的所有样本点集合$
最终目标函数变成了$T$个相互独立的单变量二阶二次函数

3.7 优化函数最小时的最优值

使用拉格朗日定理，让目标函数最小，对上面求偏导：
$$\begin{gathered} \frac{\partial ob{j}^{(t)}}{\partial w_j}=G_j+(H_j+\lambda )w_j=0 \\ 求得：w_j\text{=}-\frac{G_j}{H_j+\lambda } \end{gathered}$$
则目标函数的最小优化值转换为：
$$\begin{array}{rl}ob{j}^{(t)}& =-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T\\ & =-\frac{1}{2}\frac{G_T^2}{H_T+\lambda }+\gamma T\end{array}$$
【当所求的$ob{j}^{(t)}$满足上公式的$f_t$时，是第$t$棵树的最佳结构】

3.8 Xgboost的增益

有了最佳目标函数，就可以用划分左右的子棵树的最佳优化函数值的增益对比：
$$Gain=\frac{1}{2}\left[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_L+\lambda }-\frac{{(G_L+G_R)}^2}{H_L+H_R+\lambda }\right]-\gamma$$

Reference

陈天奇原始BoostedTree.pdf
XGBoost原理及公式推导(参考官网文档)
XGBoost基本原理
机器学习算法中 GBDT 和 XGBOOST 的区别有哪些？