集成算法 — 梯度提升树GBDT（Python3.6实现）

最新推荐文章于 2022-11-14 16:05:58 发布

VIP文章 NaLan_2020

最新推荐文章于 2022-11-14 16:05:58 发布

阅读量538

点赞数

分类专栏：机器学习模型（Python实现）文章标签：算法机器学习

本文链接：https://blog.csdn.net/zhiziyi123/article/details/106351153

版权

梯度提升树 GBDT（Gradient Boosting Decision Tree）

算法原理
GBDT通过每轮迭代产生一个弱分类器，新的弱分类器是通过减小上一轮分类器的残差训练得到的，从而不断提高分类器的精度，最终的总分类器是将每轮训练得到的弱分类器加权求和得到的（加法模型）。 GBDT每轮迭代的时候，都去拟合损失函数（在“损失函数”的博文中有详解）在当前模型下的负梯度，每轮训练的时候都能让损失函数尽快的减小和收敛达到局部最优解。因为GBDT 每轮的训练是在上一轮的训练的残差基础之上进行训练的，无论是分类还是回归都是使用的CART 回归树作为弱分类器。

调用模型

#GBDT分类模型
from sklearn import datasets
from sklearn.ensemble import GradientBoostingClassifier, GradientBoostingRegressor
from sklearn.model_selection import train_test_split, cross_val_score

iris = datasets.load_iris()
iris_x = iris.data
iris_y = iris.target

x_train, x_test, y_train, y_test = train_test_split(iris_x, iris_y, test_size = 0.3)

gbdt = GradientBoostingClassifier(loss = 'deviance', learning_rate = 0.5, n_estimators = 100, subsample = 1)
gbdt = gbdt.fit(x_train, y_train)
gbdt_result = gbdt.predict(x_test)
print(gbdt_result