R语言之装袋、adaboost、随机森林算法

  首先，这三个算法都是分类算法，分类的准确率很高,这些方法都是组合多个分类器，每个分类器分别进行预测，通过简单选举多数，判定最终所属分类。为什么组合分类器能提高分类准确率:可以通过下面的图进行解释。左图单个分类器就是图上的对角线，当进行多个组合时，出现了图上的折线图，每个折边都是一个分类器，当有多个分类器进行组合，就会出现右图，最终达到一个曲线图。组合算法的优势：1、能明显提升判别准确率；2、对误差和噪音更加鲁棒性；3、一定程度抵消过度拟合；4、适合并行化计算。

一、装袋算法

创建k个模型就需要k个训练集，且这些训练集都有放回抽样，这样每次抽样时每个样本都有机会被抽到。袋装算法的优势：1、准确率明显高于组合中任何单个的分类器；2、对于较大的噪音，表现不至于很差，并且具有鲁棒性；3、不容易过度拟合

二、Adaboost算法

提升（boosting）