一、信息论基础
(1)信息论:
信息论最早来自于通信领域,也叫通信理论,主要研究信息的获取,变换,传输,处理。
(2)信息熵与信息增益:
信息熵表示的是不确定度。均匀分布时,不确定度最大,此时熵就最大。当选择某个特征对数据集进行分类时,分类后的数据集信息熵会比分类前的小,其差值表示为信息增益。信息增益可以衡量某个特征对分类结果的影响大小。
(3)基尼不纯度:
a、基尼值:基尼值 Gini(D) 反映了从数据集中随机抽取两个样本,其类别标记不一致的概率。当数据集的纯度越高,每次抽到不同类别标记的概率越小。打个比方,在一个袋子里装100个乒乓球,其中有99个白球,1个黄球,那么当我们随机抽取两个球的时候,很大概率是抽到两个白球。
所以数据集D的纯度可以用基尼值来度量,其定义如下:
基尼值越小,数据集D纯度越高。
b、基尼指数:基尼指数是针对于属性定义的,其反映的是,使用属性a进行划分后,所有分支中(使用基尼值度量的)纯度的加权和。
属性a的基尼指数定义如下:
我们在属性集合中选择划分属性的时候,就选择使得划分后基尼指数最小的属性作为最优划分属性。CART就是用基尼指数来选择划分属性的。
二、决策树的不同分类方法的原理:
(1)ID3算法: 内部使用信息熵以及’信息增益‘来进行构建,每次迭代选择信息增益最大的特征属性作为分割属性。只支持离散的特征属性。
a、 优点:决策树构建速度快,实现简单。
b、 缺点:算法依赖样本中出现次数较多的特征属性,但是出现次数最多的属性并不一定最优.
(2)C4.5算法:使用’信息增益率‘来构建,在树的构建过程中会进行剪枝操作的优化,能够自动完成对连续属性的离散化处理。选择信息增益率大的属性进行分割。
a、优点:准确率较高,实现简单。
b、缺点:对数据集需要进行多次顺序扫描和排序,效率较低。
(3)CART算法:使用’基尼系数’作为数据纯度的量化指标来构建,选择‘GINI增益率’来分割,越大的即作为当前数据集的分割属性.可用于分类和回归。(二叉树构建)
(4)注意区别: CART构建的一定是二叉树,ID3,C4.5构建的不一定是二叉树。
三、回归树原理
(1)叶节点是一个值:当前叶子所有样本标签均值
(2)误差衡量:总方差,表示一组数据的混乱度,是本组所有数据与这组数据均值之差的平方和
(3)回归树的构建逻辑:二分法,每次选择一个最佳特征,并找到最佳切分特征值(使数据混乱度减少最多的[特征,特征值])进行切分,得到左右子树,然后对左右子树递归调用createTree方法,直到没有最佳特征为止。(实践中,在选择最佳特征时,进行了预剪枝)
(4) 回归树剪枝:当我们设置的最小分离叶节点样本数、最小混乱度减小值等参数过小,可能产生过拟合,直观的现象就是,训练出来非常多的叶子,其实是没有必要的,此时就需要剪枝了。而剪枝分为预剪枝和后剪枝:
a、预剪枝:在chooseBestSplit函数中的几个提前终止条件(切分样本小于阈值、混乱度减弱小于阈值),都是预剪枝(参数敏感)。
b、后剪枝:使用测试集对训练出的回归树进行剪枝(由于不需要用户指定,后剪枝是一种更为理想化的剪枝方法)
后剪枝逻辑:对训练好的回归树,自上而下找到叶节点,用测试集来判断将这些叶节点合并是否能降低测试误差,若能,则合并。
注意:为了寻求最佳模型,会同时使用两种剪枝技术。
四、决策树防过拟合的手段
除了上文所讲的(1)预剪枝(2)后剪枝两种方法,还有(3)奥卡姆剃刀(Occam’s razor):给定两个具有相同泛化误差的模型,较简单的模型比较复杂的模型更可取。(4)悲观误差估计(pessimistic error estimate):对二叉树来说,0.5的罚项意味着只要至少能够改善一个训练记录分类,结点就应当扩展,当1位罚项,意味着除非能够减少一个以上训练记录的误分类,否则结点不应当扩展。
五:模型评估
建立了决策树模型后需要给出该模型的评估值,这样才可以来判断模型的优劣。学习算法模型使用训练集 (training set) 建立模型,使用校验集 (test set) 来评估模型。可以从评估指标和评估方法两个角度结合来评估决策树模型。
(1) 评估指标有分类准确度、召回率、虚警率和精确度等。而这些指标都是基于混淆矩阵 (confusion matrix) 进行计算的。混淆矩阵是用来评价监督式学习模型的精确性,矩阵的每一列代表一个类的实例预测,而每一行表示一个实际的类的实例。
(2)评估方法有保留法、随机二次抽样、交叉验证和自助法等。
末:时间匆忙,作者也是入坑不到两周的萌新,更多详细内容读者可自行查询,本文只是简要梳理。
参考资料:Python之机器学习【阿布舍克】著;周志文教授的西瓜书;https://blog.csdn.net/NeilGY/article/details/82746270 ;https://www.jianshu.com/p/6789107bc051;https://yq.aliyun.com/articles/54513;https://blog.csdn.net/mousever/article/details/46944265