为什么极度随机树比随机森林更随机？这个极度随机的特性有什么好处？在训练阶段、极度随机数比随机森林快还是慢？

最新推荐文章于 2023-05-29 18:24:51 发布
最新推荐文章于 2023-05-29 18:24:51 发布
阅读量4.4k 收藏 18
点赞数 2
分类专栏： 机器学习面试+横扫千军 文章标签： 深度学习 机器学习 决策树 数据挖掘 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhongkeyuanchongqing/article/details/118469901
版权
极度随机树（Extremely Randomized Trees，ExtRa Trees）比随机森林更具随机性，每个节点随机选择特征子集并使用随机阈值分裂，而不是寻找最优分割。这创建了更多独立的决策树，加速了训练过程，但在预测时可能较慢。相比于随机森林，ExtRa Trees在训练阶段更快，但在推理阶段不占优势。
摘要由CSDN通过智能技术生成

为什么极度随机树比随机森林更随机？这个极度随机的特性有什么好处？在训练阶段、极度随机数比随机森林快还是慢？

See the source image

 

ExtRa Trees是Extremely Randomized Trees的缩写,意思就是极度随机树。极端随机树，简称ExtRa Trees，是一种集成机器学习算法。具体地说，它是一个决策树的集成学习方法，并与其他决策树集成算法相关，如bagging和随机森林（random  forest）。

极度随机树比常规随机森林更具有随机性（Randomness），因为该模型在每次分裂或者分枝的时都会随机选择一个特征子集进行分枝特征的选择，而且该模型不需要选择最佳阈值，而是采用随机阈值进行分枝。

也就是说，ExtRa Trees算法在每个节点随机

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Data+Science+Insight
关注
专栏目录
订阅专栏
随机森林+python代码实现
m0_54381161的博客
03-10 4141
集成学习 集成学习通过构建并结合多个分类器来完成学习任务。集成学习通过将多个学习器进行结合，常可获得比单一学习器更好的泛化性能。这对“弱分类器”尤为明显。 强弱分类器 一个分类器的分类准确率在60%-80%，即：比随机预测略好，但准确率却不太高，我们可以称之为“弱分类器”，比如CART（classificationandregressiontree分类与回归树）。反之，如果分类精度90%以上，则是强分类器。西瓜书上说：弱学习器常指泛化性能略优于随即猜测的学习器（例如在二分类问题上精度略高于50%...
机器学习系列(18)_Kaggle债务违约预测冠军经验分享
热门推荐
寒小阳
10-11 5万+
债务违约预测是Kaggle中的一个比赛，本文将介绍取得第一名成绩的方法，本次比赛的目标包括两个方面。其一是建立一个模型，债务人可以通过它来更好地进行财务方面的决策。其二是债权人可以预测这个债务人何时会陷入到财务方面的困境。最终目的是，通过预测未来两年内债务违约的概率，来改进现有的信用评分制度。这是一个极度复杂和困难的Kaggle挑战，因为银行和各种借贷机构一直都在不断地寻找和优化信用评分的算法。这个模型是银行用来判定
通俗易懂的机器学习——集成学习
艾醒的博客
11-26 1583
集成学习普通决策树与随机森林的对比;生成circles数据集画图函数使用决策树进行预测;构建决策树并训练、交叉验证；使用Voting Classifier 投票构建投票分类器画图;Soft Voting 分类器构建投票分类器;bagging解析多个决策树模型；Out of Bag-oob代码实现；随机森林代码实现；极端树代码实现；Ada Boosting代码实现；Gradient Boosting代码实现
rtaormina/MATLAB_Ex​traTrees:极端随机树（Extra-Trees）的MATLAB实现-matlab开发
06-01
MATLAB_ExtraTrees 包是 Geurts 等人提出的极端随机树（Extra-Trees）的 MATLAB 实现。 （2006）。
随机森林与极端随机森林
YJ语
04-26 4498
原文：http://blog.csdn.net/zhaocj/article/details/51648966 ET或Extra-Trees（Extremely randomized trees，极端随机树）是由PierreGeurts等人于2006年提出。该算法与随机森林算法十分相似，都是由许多决策树构成。但该算法与随机森林有两点主要的区别： 1、随机森林应用的是Bagging模型，而ET是使用所有的训练样本得到每棵决策树，也就是每棵决策树应用的是相同的全部训练样本； 2、随机森林是在一个随机子集内得到最
随机森林与极限森林区别
qq_42758302的博客
05-26 294
机器学习之 随机森林与极限森林 http://t.zoukankan.com/sabertobih-p-13934637.html
决策树、随机森林、极端随机树（ERT）
ZNJIAYOUYA的博客
02-26 3104
决策树、随机森林、极端随机树（ERT）
Vijos1984 随机树
dianning8393的博客
12-23 100
题目传送门 突然听说要去THUAC让我很虚于是进入赛季恢复期 发现自己已经不如退役选手了。。。。No！ 好的开始讲题 第一问：显然线性可加乱搞啊，f[i]表示n=i时候的答案 那么每加入2个节点在减掉原来那个就好了，f[i]=(f[i-1]*(i-1)+(f[i-1]+1)*2-f[i-1] 考虑第二问，这一问看了正解才发现自己已经退役了 一直在考虑如...
XGboost和GBDT区别及解读XGboost参数
GavinKai
04-05 713
GBDT和XGBoost区别 传统的GBDT以CART树作为基学习器，XGBoost还支持线性分类器，这个时候XGBoost相当于L1和L2正则化的逻辑斯蒂回归（分类）或者线性回归（回归）； 传统的GBDT在优化的时候只用到一阶导数信息，XGBoost则对代价函数进行了二阶泰勒展开，得到一阶和二阶导数； XGBoost在代价函数中加入了正则项，用于控制模型的复杂度。从权衡方差偏差来看，它降低了模型的方差，使学习出来的模型更加简单，放置过拟合，这也是XGBoost优于传统GBDT
机器模型的可解释分析-测算feature importance
weixin_39793442的博客
09-03 4129
首先推荐一本经典好书《可解释的机器学习》，Christoph Molnar著，朱明超翻译，公司的大佬也是通过学习这本书有了很多很有价值的见解~以下是我的读书笔记以及思考。 宏观来说，构建机器学习模型的商业应用场景有两种： 预测问题:给定x, 预测y. 典型应用场景，如满房率预测，外卖配送时间预测，google流感趋势预测，沃尔玛啤酒与尿布等等。 这类问题一般可容忍一个‘black box model’， 因此降低了对于Y理论框架的要求和特征工程的难度，一个高精度的模型， f(x1, x2,…xp)和f*
随机森林、决策树、极度随机树分类Demo
Katniss的Blog
11-16 661
from sklearn.model_selection import cross_val_score #交叉验证 from sklearn.datasets import make_blobs #为聚类产生数据集 产生一个数据集和相应的标签 from sklearn.ensemble import RandomForestClassifier#随机森林分类 from sklearn.ensemble import ExtraTreesClassifier#极度随机树分类 from sklearn.tree
随机森林(randomForest)和极限树或者叫做极端随机树(extraTree)，
lc574260570的博客
08-18 3万+
随机森林：是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。，随机森林对回归的结果在内部是取得平均 但是并不是所有的回归都是取的平均，有些是取的和，以后会发博文来解释这样的一个现象，需要整理些资料出来。 随机森林里的随机包含的意思是： 样本随机 特征随机 参数随机 模型随机（ID3 ,C4.5） 极限树/极端随机树里的随机包含的意思是： 特征随机 参...
Extremely Randomized Trees(ExrRa Trees)
kay_wk的博客
08-17 4408
Extremely Randomized Trees(ExrRa Trees) 今天打kaggle的泰坦尼克的时候，看到了这样一个算法： ExtRa Trees是Extremely Randomized Trees的缩写，意思就是极度随机树。这是一种组合方法，与其说像决策树，实际上它更像随机森林。 与随机森林的相同点 ：1. bootstrap了样本。2. 随机选取了部分特征，来构造一个棵树...
极度随机树ExtraTreesClassifier
数据科学汇集
01-21 1万+
Extremely Randomized Trees Classifier(极度随机树) 是一种集成学习技术，它将森林中收集的多个去相关决策树的结果聚集起来输出分类结果。极度随机树的每棵决策树都是由原始训练样本构建的。在每个测试节点上，每棵树都有一个随机样本，样本中有k个特征，每个决策树都必须从这些特征集中选择最佳特征，然后根据一些数学指标(一般是基尼指数)来拆分数据。这种随机的特征样本导致多个不相关的决策树的产生。
机器学习——随机森林算法、极端随机树和单颗决策树分类器对手写数字数据进行对比分析
最新发布
张小鱼的博客
05-29 2547
随机森林也是基于决策树的算法，只不过是利用集成的思想来提升单颗决策树的分类性能。主要特点是由于随机选择样本和特征，所以不容易陷入过拟合。随机森林算法的主要步骤从样本集中用Bootstrap随机选取n个样本，并从所有属性中随机选取K个属性，选择最佳分割属性作为节点建立分类器（CART，SVM等）重复以上m次，即建立了m个分类器，并通过投票表决结果，决定数据属于哪一类。随机森林是一种集成学习算法，它将许多决策树组合在一起来提高分类性能。
07_Ensemble Learning and Random Forests_Bagging_Out-of-Bag_Random Forests_Extra-Trees极端随机树_Boosting
Linli522362242的专栏
03-23 1745
Suppose you ask a complex question to thousands of random people, then aggregate their answers. In many cases you will find that this aggregated answer is better than an expert's answer. This is ...
决策树与剪枝、bagging与随机森林、极端随机树、Adaboost、GBDT算法原理详解
qq_29153321的博客
04-05 9552
1、决策树 基本概念：从一组无次序、无规则的实例中推理出决策树表示形式的分类规则。 1.1 ID3 具体方法是:从根节点开始，对节点计算所有可能的特征的信息增益，选择信息增益最大的特征作为节点的特征，由该特征的不同取值建立子节点；再对子节点递归调用以上方法，构建决策树。 基础概念： - 熵： 熵越大，随机变量的不确定性越大。 - 条件熵： H(Y|X)表示在已知随机变量X的条件下...
Python实现随机森林算法详解
此外，随机森林在Python中有一个强大的库——scikit-learn，它提供了完整的随机森林实现，包括更高效的算法和更多的调优选项。尽管如此，自己实现随机森林有助于理解其工作原理和关键步骤。" 这段文字详细解释了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Data+Science+Insight

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值