算法总结（四）关于决策树和随机森林

学习资源

《机器学习》周志华 第四章

https://www.cnblogs.com/fionacai/p/5894142.html fionacai博客

https://www.jianshu.com/p/708dff71df3a mrlevo520博客

                                                                                                                                       

在学习softmax的时候，我们了解了交叉熵，在决策树中，需要用到熵，信息增益，信息增益率，这是生成结点的核心知识

决策树分类器的生成过程：

1. 首先是把分类属性生成一个根节点
2. 选取条件熵最大的特征作为下一节点，并根据特征属性值生成叶节点
3. 重复第二过程，直至特征运用完成

一些问题

• overfitting

分类和回归的问题不可避免的会碰到过拟合的问题，在决策树里面的解决办法就是利用预剪枝和后剪枝两种方法，剪枝均是利用验证集对形成的叶节点验证，如果有必要，保留，没必要，删除，具体的算法可以查看《机器学习》这本书

• 特征值的选取

特征值的选取有多种方式，可以利用信息增益或者信息增益率，不过后来有人提出了利用基尼指数进行选取（CART决策树）

• 连续值和缺失值的问题

首先对于连续值，即我们的划分结果为连续值，则可以利用二分法进行分类

对于缺失值，处理要复杂一些，可以查看https://www.cnblogs.com/ljygoodgoodstudydaydayup/p/7418851.html

然后我们看看关于随机森林，总体来讲就是以一定的抽样方法进行抽样建立决策数，多次抽样之后形成多个决策树，就形成了随机森林，在预测的时候，就看看各个模型的投票，最终决定它的分类，当然这里面有许多细节问题，等用到的时候再好好考虑吧