AdaBoost通过每次训练一个弱分类器并计算其错误率来更新样本的权值,使得分类错误的样本的权值更大,从而在下一次训练时得到更多关注,对分类器的分类结果影响更大。
AdaBoost的算法流程:
在计算第 t 次迭代的错误率 时,要把样本的权值考虑进去,更具体的,
其中 是第 i 个样本在第 t 次迭代时的权值 ,即,当前弱分类器的错误率是预测错误的样本的权值之和。根据公式,被分类错误样本的权值提升因子:
当弱分类器的正确率大于0.5,即 < 0.5时,被分类错误的样本的权值就可以得到提升,接下来的迭代才是有意义的。