决策树ID3算法的不足

最新推荐文章于 2023-01-08 09:43:27 发布
最新推荐文章于 2023-01-08 09:43:27 发布
阅读量3.2k 收藏
点赞数 1
分类专栏： 机器学习基础 文章标签： 决策树ID3算法的不足
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zrh_CSDN/article/details/81007944
版权
  • a)ID3没有考虑连续特征，比如长度，密度都是连续值，无法在ID3运用。这大大限制了ID3的用途。
  • b)ID3采用信息增益大的特征优先建立决策树的节点。很快就被人发现，在相同条件下，取值比较多的特征比取值少的特征信息增益大。
  • c) ID3算法对于缺失值的情况没有做考虑
  • d) 没有考虑过拟合的问题
张荣华_csdn
关注
专栏目录
机器学习算法中的几个疑难杂症点(8)----ID3算法的缺陷
qq_38165506的博客
11-12 1528
本文主要来讨论一下决策树中ID3算法的缺陷,以及为什么倾向于特征选择项较多的特征. 文章目录一、ID3 算法的缺点:1、考虑不全面2、原理缺陷二、ID3 算法为什么要选择特征多的属性:参考文档 一、ID3 算法的缺点: 1、考虑不全面 (1)没有考虑连续特征.只对于离散型特征进行信息增益的比较,极大的限制了ID3的用途. (2)没有考虑到缺失值的情况. (3)没有考虑过拟合问题.因为决策树会把特征...
【机器学习算法】决策树-2 ID3分类树算法的决策依据，ID3算法的4大缺点。
qq1021091799qq的博客
07-22 1050
ID3分类树算法的原理与分类依据。ID3分类树的4大缺点。
决策树C4.5算法的不足
zrh_CSDN的博客
07-15 2583
1)由于决策树算法非常容易过拟合，因此对于生成的决策树必须要进行剪枝。2)C4.5生成的是多叉树，即一个父节点可以有多个节点。在计算机中二叉树模型会比多叉树运算效率高。如果采用二叉树，可以提高效率。3)C4.5只能用于分类，如果能将决策树用于回归的话可以扩大它的使用范围。4)C4.5由于使用了熵模型，里面有大量的耗时的对数运算,如果是连续值还有大量的排序运算。...
【机器学习】决策树的优缺点
duxinyuhi的专栏
10-11 1万+
一：决策树的缺点 1.如果你的边界很光滑动，决策树不会很好用。也就是说当你有不连续的实例时，决策树才表现最好。 2. 如果有很多不相关的变量，决策树表现的不好。决策树的工作是通过找到变量间的相互作用。 3. 数据框架：树的每次分裂都减少了数据集。有意地创造分裂将会潜在地引进偏差（bias） 4. 高方差和不稳定性：运用贪婪策略到决策树方差，找到树的正确的开始点会
决策树中的ID3, C4.5, CART算法及其优缺点
sinat_41613352的博客
03-05 1万+
前一篇文章说了决策树算法的一些基本内容，包括它的分类和如何构造决策树。这篇文章我们继续深入如何构造决策树 如何构造决策树 建树需要解决以下三个问题： 选择什么特征分裂 如何选择特征分裂的属性值（具体判断条件） 什么时候停止分裂 以下是损失函数关键的公式 熵： entropy(D)=−∑i=1nPilog2Pientropy(D) = -\sum_{i=1}^n P_ilog_2 P_ientr...
决策树ID3算法matlab源代码
11-11
决策树ID3算法matlab源代码片段 function [Tree RulesMatrix]=DecisionTree(DataSet,AttributName) %输入为训练集，为离散后的数字，如记录1：1 1 3 2 1； %前面为属性列，最后一列为类标 if nargin<1 error('请...
决策树ID3算法实验报告广工（附源码java）
01-10
《决策树ID3算法实验详解——以广工实验为例》 决策树ID3算法是一种经典的机器学习算法，常用于分类任务。本实验报告基于广东工业大学（广工）的人工智能课程，通过具体案例——UCI标准数据集Car-Evaluation，详细...
决策树——ID3算法
01-20
ID3（Iterative Dichotomiser 3）算法是决策树构建的基础方法，由Ross Quinlan于1986年提出。ID3算法的核心思想是利用信息增益来选择最优属性，逐步划分数据集以构建决策树。 1. 信息熵 信息熵是衡量数据集纯度的一...
基于java实现的 决策树之 ID3 算法
最新发布
04-25
在本案例中，我们将探讨如何用Java实现ID3算法，这是一种早期的决策树学习算法，由Ross Quinlan于1986年提出。 ID3（Iterative Dichotomiser 3）算法基于信息熵和信息增益来选择最优特征进行分裂。信息熵是度量数据...
算法时间复杂度分析基础 （论文）
02-03
算法时间复杂度分析基础算法时间复杂度分析基础算法时间复杂度分析基础
决策树-ID3算法和C4.5算法
阿黎逸阳的博客
09-13 1793
决策树算法—ID3算法和C4.5算法
ID3算法
weixin_30782331的博客
12-05 135
ID3算法是决策树算法中的一种，决策树的具体教程可以看这里http://blog.csdn.net/ritchiewang/article/details/46008643 ID3算法的大致思路：从根节点开始，对接点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信...
决策树ID3和C4.5的区别
yin_hei的博客
11-07 1万+
主要描述里ID3和C4.5的区别和改进，C4.5的优缺点，以及信息增益与信息增益比的计算方法区别ID3使用信息增益作为特征选择的度量 C4.5使用信息增益比作为特征选择的度量信息增益 g(D,A)=H(D)−H(D|A)g(D,A)=H(D)-H(D|A) H(D)H(D)是数据集D的熵，计算公式H(D)=−∑Kk=1|Ck|Nlog|Ck|NH(D)=-\sum_{k=1}^K\frac{|
决策树: ID3算法
chixujohnny
12-29 1040
在聚类算法（一）中讲到，K-means算法可以完成很多分类任务，但是最大的缺点就是无法给出数据的内在含义，决策树的主要形式就在于数据形式非常容易理解。 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。 缺点：可能会产生过度匹配的问题。 使用数据类型：数值型和标称型。 伪代码如下： 检测数据集中每个子项是否属于同一分类： if so retu
机器学习-决策树
weixin_55493324的博客
03-24 332
决策树分类 决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。 决策树用于对新样本的分类，是通过决策树对新样本属性值的测试，从树的根结点开始，按照样本属性的取值，逐渐沿着决策树向下，直到树的叶结点，该叶结点表示的类别就是新样本的类别。 决策树分类算法，及其原理 决策树常用的算法有三种： ID3 ID3算法使用信息增益为准则来选择划分属性 根据样本子集属性取值的信息增益值的大小来选择决策属性，并根据该属性的不同取值生成决策树的分支，再对子集进行递
对ID3算法的理解及其优缺点
热门推荐
weixin_45834080的博客
11-12 1万+
决策树ID3算法1、定义2、理解3、ID3算法的过程3、ID3算法的优缺点优点缺点4、为什么倾向特征选项较多的特征 在机器学习决策树中，最常用的三种算法有三种：ID3，C4.5，CART。在这里我将我对ID3算法的理解说一下。 1、定义 ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。 ID3名字中的ID是It-erative Dichotomiser(迭代二分器）...
机器学习--ID3算法的缺陷，为什么倾向特征选项较多的特征？
qq_44930315的博客
11-12 2296
ID3算法的概念 ID3算法十分简单，核心是根据“最大信息熵增益”原则选择划分当前数据集的最好特征，信息熵是信息论里面的概念，是信息的度量方式，不确定度越大或者说越混乱，熵就越大。在建立决策树的过程中，根据特征属性划分数据，使得原本“混乱”的数据的熵(混乱度)减少，按照不同特征划分数据熵减少的程度会不一样。在ID3中选择熵减少程度最大的特征来划分数据（贪心），也就是“最大信息熵增益”原则。 ID3...
【数据挖掘】决策树归纳中ID3算法讲解及构建决策树实战（图文解释 超详细）
showswoller的博客
01-08 5820
【数据挖掘】决策树归纳中ID3算法讲解及构建决策树实战（图文解释 超详细）
决策树ID3算法实例解析
"这篇资源主要介绍了18种经过审核的机器学习和数据挖掘候选算法，包括分类、统计学习和关联分析等领域的经典方法，并重点解析了决策树ID3算法。文章出自嘉兴学院数学与信息工程学院的杜卫锋，内容涵盖了嘉兴地区的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值