集成算法 — 随机森林（Python3.6实现）

RandomForest 随机森林

在上一篇博文 “集成算法— 简介 + 决策树”中，简要介绍了集成算法的3种分类：Boosting、Bagging、Stacking以及它们经常使用的弱分类器—决策树（分类树和回归树）。集成算法可分为序列集成法和并行集成法：（1）序列集成法，是指参与训练的基础学习器按照顺序生成（如 AdaBoost），利用基础学习器之间的依赖关系，通过对之前训练中错误标记的样本赋值较高的权重，提高整体的预测效果；（2）并行集成法，是指其中参与训练的基础学习器并行生成（如 Random Forest），利用基础学习器之间的独立性，通过平均降低错误。

算法原理

1）每轮从数据集中抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中），样本是有放回的抽取；
2）共进行k轮抽取，得到k个训练集（k个训练集之间是相互独立的）；
3）对分类问题：对于将得到的k个模型采用投票的方式得到分类结果，各模型权重相等；对回归问题，计算k个模型的均值作为结果。

对于随机森林“随机”的理解
1）取样是随机的，并且是有放回的取样：
如果不是有放回的取样，那么每棵树都是没有交集的，是“有偏的”，尤其是对于样本量小或者是数据特征差别比较大的数据集，每棵树训练出来的预测结果差异会很大，而随机森林最后分类取决于多棵树的投票表决，因此若每棵树预测结果差异很大，那其对最终分类结果没有帮助。
2）随机选择特征，比如7个特征随机选5个：
在不知道哪些特征起作用，哪些特征不起作用的情况下，能防止过拟合，使结果更可靠

调用模型

from sklearn import datasets
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

iris = datasets.load_iris()
iris_x = iris.data
iris_y = iris.target
x_train, x_test, y_train, y_test = train_test_split(iris_x, iris_y, test_size = 0.3)

rf = RandomForestClassifier(criterion = 'entropy', max_depth = 3, n_estimators = 5, random_state = 300)
rf = rf.fit(x_train, y_train