LGB机器学习介绍

zxm8513

已于 2022-10-21 10:59:16 修改

阅读量976

点赞数

分类专栏：我的应用为谁而生综合性技术汇集工业互联网开发技术文章标签：机器学习算法决策树

于 2022-10-21 10:59:08 首次发布

本文链接：https://blog.csdn.net/zxm8513/article/details/127441618

版权

我的应用为谁而生同时被 3 个专栏收录

193 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

工业互联网开发技术

158 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

综合性技术汇集

63 篇文章

订阅专栏

LightGBM是为解决GBDT在处理大规模数据时的挑战而提出的，通过Histogram算法、单边梯度采样（GOSS）、互斥特征捆绑（EFB）和带深度限制的Leaf-wise算法优化了训练速度和内存消耗。直方图算法通过离散化特征值减少内存占用和计算成本，而Leaf-wise策略提高训练效率，GOSS减少计算量，EFB降维。此外，LightGBM还支持类别特征并进行了缓存优化，提供了高效并行策略，包括特征并行、数据并行和投票并行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. LightGBM简介

GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。

1.1 LightGBM提出的动机

常用的机器学习算法，例如神经网络等算法，都可以以mini-batch的方式训练，训练数据的大小不会受到内存限制。而GBDT在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。尤其面对工业级海量的数据，普通的GBDT算法是不能满足其需求的。

LightGBM提出的主要原因就是为了解决GBDT在海量数据遇到的问题，让GBDT可以更好更快地用于工业实践。

1.2 XGBoost的缺点及