机器学习之Adaboost算法

Adaboost 算法 ；

先介绍一下 boost 算法 ， boost 就是一种增强学习算法，通过弱学习器 （正确率略高于随机回答的学习器，这也是必须要满足的条件否则分这个算法无效）的一种结合得到一种强学习器的集成学习方法，有许多的boost 算法 Adaboost 就是其中的一种算法。

Adaboost 算法思想 ：

这种算法的基本思想就是，用一些弱分类器通过集成学习的方法组合出一个强分类器，对于每次分类对错误的样本增加权值，对分类正确的样本减小权值已达到对于错误分类样本加强关注的目的，不断迭代，直到得到效果较好的分类器。

Adaboost 算法的算法流程

1. 初始化全值分布，一般初始化的时候全值都是一致的
2. 训练不同的弱分类器，挑选出一个效果最好的弱分类器当做这次分类所使用的弱分类器，并且对于分类数据，分类正确的减小权值，分类错误的增大权值，达到对分类错误样本的重视，使得在下一次迭代中更倾向于将错误样本正确分类
3. 将所有训练得到的弱分类器结合起来得到一个强分类器，结合的方法是，一个误差大的分类器在最后所占的权值较小，在误差较小的分类器所占的权值大

下面展示一下Adaboost算法的过程