集成算法 — 梯度提升树GBDT（Python3.6实现）

最新推荐文章于 2024-04-13 18:51:54 发布

NaLan_2020

最新推荐文章于 2024-04-13 18:51:54 发布

阅读量574

点赞数

分类专栏：机器学习模型（Python实现）文章标签：算法机器学习

本文链接：https://blog.csdn.net/zhiziyi123/article/details/106351153

版权

本文介绍了梯度提升树（GBDT）的算法原理，GBDT通过每轮迭代训练弱分类器来减小上一轮的残差，形成加法模型。调参方面，重点讲解了GBDT特有的Boosting框架参数，并通过画学习曲线展示如何调整n_estimators参数。

摘要由CSDN通过智能技术生成

梯度提升树 GBDT（Gradient Boosting Decision Tree）

算法原理
GBDT通过每轮迭代产生一个弱分类器，新的弱分类器是通过减小上一轮分类器的残差训练得到的，从而不断提高分类器的精度，最终的总分类器是将每轮训练得到的弱分类器加权求和得到的（加法模型）。 GBDT每轮迭代的时候，都去拟合损失函数（在“损失函数”的博文中有详解）在当前模型下的负梯度，每轮训练的时候都能让损失函数尽快的减小和收敛达到局部最优解。因为GBDT 每轮的训练是在上一轮的训练的残差基础之上进行训练的，无论是分类还是回归都是使用的CART 回归树作为弱分类器。

调用模型

#GBDT分类模型
from sklearn import datasets
from sklearn.ensemble import GradientBoostingClassifier, GradientBoostingRegressor
from sklearn.model_selection import train_test_split, cross_val_score

iris = datasets.load_iris()
iris_x = iris.data
iris_y = iris.target

x_train, x_test, y_train, y_test = train_test_split(iris_x, iris_y, test_size = 0.3)

gbdt = GradientBoostingClassifier(loss = 'deviance', learning_rate = 0.5, n_estimators = 100, subsample = 1)
gbdt = gbdt.fit(x_train, y_train)
gbdt_result = gbdt.predict(x_test)
print(<