首先,这三个算法都是分类算法,分类的准确率很高,这些方法都是组合多个分类器,每个分类器分别进行预测,通过简单选举多数,判定最终所属分类。为什么组合分类器能提高分类准确率:可以通过下面的图进行解释。左图单个分类器就是图上的对角线,当进行多个组合时,出现了图上的折线图,每个折边都是一个分类器,当有多个分类器进行组合,就会出现右图,最终达到一个曲线图。组合算法的优势:1、能明显提升判别准确率;2、对误差和噪音更加鲁棒性;3、一定程度抵消过度拟合;4、适合并行化计算。
一、装袋算法
创建k个模型就需要k个训练集,且这些训练集都有放回抽样,这样每次抽样时每个样本都有机会被抽到。袋装算法的优势:1、准确率明显高于组合中任何单个的分类器;2、对于较大的噪音,表现不至于很差,并且具有鲁棒性;3、不容易过度拟合
二、Adaboost算法
提升(boosting)