决策树(Decision Tree)

本文详细介绍了决策树模型的定义、结构以及其与If-then规则的关系。重点讨论了决策树的学习过程,包括ID3、C4.5、CART等算法,以及特征选择中的信息增益和信息增益比准则。此外,还分析了决策树的剪枝策略,以防止过拟合。
摘要由CSDN通过智能技术生成

1.决策树模型:

决策树定义:分类决策树模型是一种描述对实例进行分类的树形结构;

组成部分:a.结点;    结点分为两种类型:内结点、叶结点;

    内部结点表示一个特征或者属性;

            叶结点表示一个类。

  b.有向边

用决策树进行分类,首先从根节点开始(根节点为实例的某一特征),并对其进行测试,根据测试结果,将实例分配到其子结点(子节点对应着该特征的一个取值);

使用递归的方法对实例进行测试并分配,一直到叶节点结束。

2.决策树与If-then规则:

规则过程:将决策树的根节点到叶节点的每一条路径构建一条规则;

if()——>为条件:路径上内部结点的特征

then——>:叶结点的类

if-then规则集合的性质:互斥且完备;

3.决策树与条件概率分布 :

将条件概率分布定义在特征空间的划分上;特征空间划分为互不交的单元或者区域,并在每一个单元(区域)定义一个类的概率分布;

若X表示特征的随机变量,Y表示类的随机变量,则条件概率表示为P(Y|X);

4.决策树学习:(常用算法:ID3、C4.5、CART)

损失函数为:正则化的极大似然函数;

策略:以损失函数为目标函数的最小化;

为防止过拟合现象(在对未知的数据测试过程中),则对决策树

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值