机器学习决策树与分类算法

最新推荐文章于 2024-07-18 00:00:00 发布

小小风控--关耳朵

最新推荐文章于 2024-07-18 00:00:00 发布

阅读量615

点赞数

文章标签：机器学习决策树

本文链接：https://blog.csdn.net/zhengyoufang/article/details/113988593

版权

本章首先介绍决策树的ID3、C4.5、C5.0、CART等常用算法，然后讨论决策树的集成学习，包括装袋法、提升法、随机森林、GBDT、AdaBoost等算法，最后介绍决策树算法的应用案例。

分类算法是利用训练样本集获得分类函数即分类模型（分类器），从而实现将数据集中的样本划分到各个类中。分类模型通过学习训练样本中属性集与类别之间的潜在关系，并以此为依据对新样本属于哪一类进行预测。

通过把数据样本分配到某个叶子结点来确定数据集中样本所属的分类 ；
决策树由决策结点、分支和叶子结点组成 ；
决策树分类过程：从决策树根结点出发，自顶向下移动，在每个决策结点都会进行划分，通过划分的结果将样本进行分类，导致不同的分支，最后到达叶子结点；
ID3算法 ；
在每个节点处选取能获得最高信息熵的分支属性进行分裂，在每个决策结点处划分分支、选取分支属性的目的是将整个决策树的样本纯度提升
衡量样本集合纯度的指标则是熵，
C4.5算法 ；
C5.0算法 ；

- - 决策树构建时间要比C4.5算法快上数倍，同时生成的决策树规模也更小，拥有更少的叶子结 点数
- - 使用了提升法(boosting)，组合多个决策树来做出分类，使准确率大大提高
- - 提供可选项由使用者视情况决定，例如是否考虑样本的权重、样

关注