GBDT与XGboost小结

最新推荐文章于 2024-05-23 17:48:45 发布
最新推荐文章于 2024-05-23 17:48:45 发布
阅读量773 收藏 2
点赞数
文章标签： 机器学习 GBDT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyxpaidaxing/article/details/79963319
版权
本文介绍了GBDT（Gradient Boosting Decision Tree）的算法步骤，包括初始化、损失函数的负梯度计算和回归树的更新。接着讨论了XGBoost在GBDT基础上的改进，如自带正则项、并行计算和防止过拟合的策略。最后，探讨了XGBoost相比GBDT在训练速度和准确率上的优势，并分析了为何在调参时，GBDT树的深度设置为6就能达到高精度。
摘要由CSDN通过智能技术生成

划重点——AdaBoost + 决策树 = 提升树
                 Gradient Boosting + 决策树 = GBDT

GBDT（Gradient Boosting Decision Tree）

1.算法原理：GBDT（梯度提升决策树），是一种基于boosting串行式的集成学习方法，通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。
 
                                                                                图-GBDT的训练过程
GBDT可认为是一个迭代残差树，通过多轮迭代，每轮迭代产生一个弱分类器（CART TREE），核心就是每个分类器在上一轮分类器的残差基础上进行训练，这里的残差就是当前模型的负梯度值。
GBDT的核心就在于：每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。比如A的真实年龄是18岁，但第一棵树的预测年龄是12岁，差了6岁，即残差为6岁。那么在第二棵树里我们把A的年龄设为6岁去学习，如果第二棵树真的能把A分到6岁的叶子节点，那累加两棵树的结论就是A的真实年龄；如果第二棵树的结论是5岁，则A仍然存在1岁的残差，第三棵树里A的年龄就变成1岁，继续学习。
（传统的boosting与梯度提升的区别：
GB：每个新模型的建立是为了使得之前模型的残差往梯度方向减少；
传统的boosting：对正确、错误的样本进行加权——每一步结束，就增加错误的权重，减少对的权重）
 
最低0.47元/天 解锁文章
星青星晴
关注
GBDT和Xgboost
guanjianlujing的专栏
11-15 1243
GBDT 英文全称：Gradient Boosting Decision Tree 。 一句话解释：以决策树为基模型（base model），以损失函数的负梯度为学习目标的boosting集成模型 这句话有三个概念：决策树，损失函数的负梯度,boosting 对第一个基本概念的解释： 决策树主流有三类ID3,C4.5,CRAT树。gbdt的基模型是CART树。 id3使用信息增益作为分裂点选择 C4.5使用信息增益比作为分裂点选择 cart树使用基尼系数作为分裂点选择 第二个基本概念的解释
GBDT和XGboost介绍
xavier_muse的博客
11-23 1359
注：本文转自https://blog.csdn.net/legendavid/article/details/78904353并对文章进行了优化（原文没有图片），对方也是转载，原作者不知哪位大神。 GBDT（Gradient Boosting Decision Tree）是一种基于迭代所构造的决策树算法，它又可以简称为MART（Multiple Additive Regression Tree）...
GBDT和xgboost
qq_26890109的博客
02-28 285
gbdt（gradient boost decision tree）：梯度提升决策树；由多棵决策树组成，每棵决策树都是回归树random forest（随机森林）：随机森林中的每棵树都是由从训练集中抽取的样本训练得到的；同时在构建树时随机选择特征xgboost集成学习序列集成方法：所有学习器按顺序排列组合起来并行集成方法：各个学习器并行排列bagging，boosting，stackingbagg...
GBDT和XGBoost
知识搬运工的博客
04-29 1556
写在最开头，对GB的理解： 1、Gradient Boosting：每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，我们可以在残差减少的梯度(Gradient)方向上建立一个新的模型。在Gradient Boost中，每个新的模型的建立是为了使得之前模型的残差往梯度方向减少（当然也可以变向理解成每个新建的模型都给予上一模型的误差给了更多的关注）， ...
GBDT与XGBoost
Major_S的博客
08-21 383
GBDT与XGBoostGBDT与XGBoostGBDT与XGBoost
【回顾】GBDT、XGBoost、LightGBM原理及对比
qq_42189083的博客
10-18 905
本文主要简要的比较了常用的boosting算法的一些区别，从AdaBoost到LightGBM,包括AdaBoost,GBDT,XGBoost,LightGBM四个模型的简单介绍，一步一步从原理到优化对比。 AdaBoost概述 Adaboost(Adaptive Boosting，自适应增强)算法是一种提升方法，将多个弱分类器，组合成强分类器。它的自适应在于：前一个弱分类器分...
GBDT、Xgboost与LightGBM总结
qq184861643的博客
09-08 366
从Gradient Descend到GBDT 集成学习之Boosting —— Gradient Boosting原理 Xgboost原理详解 XGBoost算法原理小结 从GBDT到Xgboost 相对于GBDT，Xgboost的优化主要体现在以下三个方面： 算法本身的优化： GBDT只支持决策树，Xgboost还支持使用其他弱分类器； GBDT使用损失函数的负梯度（一阶导数）作为分类器的...
Boosting算法（GBDT，XGBoost，LightGBM）
丿回到火星去
11-25 2925
引言 提升（Boosting）是一种机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树），并加权累加到总模型中加权累加到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升（Gradient Boosting）。 梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的若函数集合（基函数）；提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐...
RF,GBDT,XGBoost,lightGBM对比分析
zhangbaoanhadoop的博客
08-25 565
RF,GBDT,XGBoost,lightGBM都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。  根据基本学习器的生成方式，目前的集成学习方法大致分为两大类：即基本学习器之间存在强依赖关系、必须串行生成的序列化方法，以及基本学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者...
机器学习模型——GBDT和Xgboost
qq_60688380的博客
04-08 1374
GBDT（Gradient Boosting Decision Tree，简称GBDT）梯度提升决策树，是Gradient Boost 框架下使用较多的一种模型，且在GBDT中，其基学习器是分类回归树也就是CART，且使用的是GBDT这个算法还有一些其他的名字, MART（Multiple Additive Regression Tree)，GBRT（Gradient Boost Regression Tree)，Tree Net，Treelink等。
GBDT/xgboost总结
weixin_42887772的博客
09-28 658
bagging和boosting是模型集成的两种方式，可以将很多弱分类器融合成一个强分类器bagging：每棵树之间不存在依赖关系，可以并行处理，通过投票表决的方式来确定结果boosting：每棵树之间存在依赖关系，各棵树之间是串行的，通过将每棵树的结果累加来决定最终的结果，后面的树在拟合前面结果的残差。如何衡量一颗树很好？以xgboost为例，在构造每棵树的过程中，我们可以计算出目标函数的最小值，然后以这个最小值为准则来递归构建树的每一层节点。
GBDT的介绍
热门推荐
dong-技术驱动人生
08-22 1万+
一.GBDT简介：         GDBT(Gradient Boosting Decision Tree)是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终结果。它在被提出之初就和SVM一起被认为是泛化能力（generalization）较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起广泛关注。         GBDT是一个应用很广泛的算法，可以用来做分...
第四章（1.1）机器学习——RF(随机森林)、GBDT、XGBoost算法
两只橙的博客
02-08 2232
一、概念RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。二、关系根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者的代表是
机器学习-GB、GBDT、XGboost、Adaboost
qq_34229228的博客
11-22 1816
概念 argmin 的含义是什么？ 最通俗的理解：表示使目标函数取最小值时的变量值 算法 梯度提升决策树 XGBoost与GBDT算法的区别： 传统的GBDT在优化的时候只用到了一阶导数信息，而XGBoost则对代价函数进行了二阶泰勒展开，得到一阶和二阶导数，并且XGBoost在代价函数中加入了正则项，用于控制模型的复杂度。 另外XGBoost还支持线性分类器，通过在代价函数中加入正...
Xgboost与GBDT的区别
rexyang97的博客
06-25 1533
XGBoost是使用梯度提升框架实现的高效、灵活、可移植的机器学习库，全称是eXtreme GradientBoosting，是对于GBDT(GBM)的一个优化以及C++实现。它将树的生成并行完成，从而提高学习速度。 XGBoost的作者为华盛顿大学陈天奇，并封装了Python接口，随着在机器学习竞赛中的优异表现，其他学者封装完成了R/Julia等接口。 书名：类.XGBoost的作者为华盛顿大学陈天奇，并封装了Python接口，随着在机器学习竞赛中的优异表现，其他学者封装完成了R/Julia等接口。 .
GBDT和XGBoost的区别
qq_38016957的博客
09-07 542
传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑回归（分类问题）或者线性回归（回归问题）。 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。 xgboost在代价函数里加入了正则项，用...
xgboost学习与总结
weixin_30607029的博客
04-17 109
最近在研究xgboost，把一些xgboost的知识总结一下。这里只是把相关资源作总结，原创的东西不多。 原理 xgboost的原理首先看xgboost的作者陈天奇的ppt 英文不太好的同学可以看看这篇博客xgboost原理。假如看了陈天奇的ppt还晕乎的同学，看了这篇应该能大概知道xgboost是如何求最优解的。 实战 xgboost的参数多的简直不像话。上面提到的博客里xgboost原理提供了...
GBDT、XGBoost、LightGBM算法详解
最新发布
酒酿小圆子呀～
05-23 1643
在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。然后我们拿残差替代A,B,C,D的原值，到第二棵树去学习，如果我们的预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了。从树深度0开始，每一节点都遍历所有的特征，比如年龄、性别等等，然后对于某个特征，先按照该特征里的值进行排序，然后线性扫描该特征进而确定最好的分割点，最后对所有特征进行分割后，我们选择所谓的增益Gain最高的那个特征。
GBDT与XGBoost算法深度解析
"这篇文档深入解析了GBDT和XGBoost两种重要的机器学习算法，包括它们的理论基础、优化方法以及在实际应用中的高效工具LightGBM。" GBDT（Gradient Boosting Decision Tree）和XGBoost是机器学习领域常用的集成学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值