高级算法梳理
Xavier学长
这个作者很懒,什么都没留下…
展开
-
高级算法梳理-随机森林
高级算法梳理-随机森林首先,随机森林是集成学习的一部分,属于bagging方法那么,需要首先解释一下什么是bagging方法,bagging方法最主要的特点是 个体学习器之间不存在强依赖关系,可同时生成的并行化方法。个体学习器可以有很多种,本文中以决策树算法作为个体学习器的方法进行说明。bagging方法是从原始数据集中采样出T个包含m个训练样本的采样集,然后基于每个采样集训练处...原创 2019-08-09 21:14:45 · 692 阅读 · 0 评论 -
高级算法梳理-GBDT算法梳理
高级算法梳理-GBDT算法梳理梯度提升决策树(Gradient Boosting Seceision Tree,GBDT)是boosting算法中非常流行的模型,体现了从错误中学习的理念。从错误中学习,也是boosting类方法最明显的特点。首先,我们来说一下什么是boosting方法。boosting方法的第一个特点是个体学习器见存在强依赖关系,必须串行生产的序列化方法。boos...原创 2019-08-09 21:16:23 · 527 阅读 · 0 评论 -
XGBoost算法梳理
1、算法原理GBDT2、损失函数原始论文 公式2(损失函数+正则化项)3、分裂结点算法暴力算法:原始论文 算法1(对每个特征枚举所有可能值)近似算法:原始论文 算法2(对每个特征确定若干splitting point,枚举所有的splitting point)4、正则化损失函数正则化项训练决策树时选择部分样本/特征5、对缺失值处理原始论文 算法3(分别枚举将缺失值放...原创 2019-08-12 22:30:08 · 200 阅读 · 0 评论