机器学习：梯度Boost决策树

Gradient Boost Decision Tree

GBDT是一个应用很广泛的算法，可以用来做分类、回归。在很多的数据上都有不错的效果。

又称作：MART(Multiple Additive Regression Tree)，GBRT(Gradient Boost Regression Tree)，Tree Net。

发明者：Friedman。

Gradient Boost其实是一个框架，里面可以套入很多不同的算法。

原始的Boost算法

Boost是"提升"的意思，一般Boosting算法都是一个迭代的过程，每一次新的训练都是为了改进上一次的结果。

在算法开始的时候，为每一个样本赋上一个权重值。初始的时候，大家都是一样重要的。

在每一步训练中得到的模型，会使得数据点的估计有对有错，我们就在每一步结束后，增加分错的点的权重，减少分对的点的权重，这样使得某些点如果老是被分错，那么就会被“严重关注”，也就被赋上一个很高的权重。

等进行了N次迭代（由用户指定），将会得到N个简单的分类器（basic learner），然后我们将它们组合起来（比如说可以对它们进行加权、或者让它们进行投票等），得到一个最终的模型。

Gradient Boost与传统的Boost的区别

每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，我们可以在残差减少的梯度(Gradient)方向上建立一个新的模型。

所以说，在Gradient Boost中，每个新的模型的建立是为了使得之前模型的残差往梯度方向减少，与传统Boost对正确、错误的样本进行加权有着很大的区别。

参考: LeftNotEasy博客园