![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 90
深度技术宅
这个作者很懒,什么都没留下…
展开
-
集成树之GBDT算法
目录:导言GBDT算法2.1 GBDT回归树2.2 GBDT分类树2.2.1 二分类2.2.2 多分类Bosting提升树3.1 为什么Boosting能够降低偏差1 导言常见的集成学习算法一般可以分为两大类:Boosting和Bagging。Boosting类的核心思想在于训练多个弱分类器,最终的结果是这n个弱分类器的和,每一个弱分类器的目标是学习前m个弱分类器的和与样本...原创 2020-04-06 14:12:42 · 264 阅读 · 0 评论 -
详解决策树(干货篇)
这里写自定义目录标题1、导言2. 信息熵3. 决策树的分类3.1 ID3决策树3.2 C4.5决策树3.3 CART决策树4 决策树剪枝算法4.1 悲观剪枝法4.2 错误率剪枝法4.3 代价复杂度剪枝法5 集成学习算法1、导言决策树是机器学习中一种基本的分类与回归算法,也是构成很多集成算法的基础。决策树是基于树的结构来进行判别的,当然也可以认为它本质上是if-then规则的集合。假设我们要...原创 2020-03-30 13:53:28 · 435 阅读 · 0 评论 -
梯度下降法详解
前言梯度下降法梯度下降法是机器学习中一种常用到的算法,主要解决求最小值问题,其基本思想在于不断地逼近最优点,每一步的优化方向就是梯度的方向。对于最简单的线性回归问题,,我们假设其损失函数那么梯度下降的基本形式就是。其中,为学习率(learning_rate)。我们来看看是什么样子的。,其中,,所以可得。常用的梯度下降法包括随机梯度下降法(SGD)...原创 2018-10-20 21:59:56 · 764 阅读 · 3 评论