Boosting
boosting是通过对弱分类器的组合成强分类器
1 AdaBoost
步骤:
a. 输入样本集 (X, C) C为类别属性
b. 初始化权值W0 = (..,1/n,...)
c. 循环构造多个弱分类器
(1) 根据Wt, 训练弱分类器ht
(2) 根据弱分类器对训练样本分类,计算et, et是用h(t)分类错误的Wt的总和
(3) 选取最佳的弱分类器ht, et最小的。
(4) 按照最佳弱分类器更新Wt+1 = Wt*Bt/(1-Bt), 样本被正确分类则Bt=0, 否则为1
(5) 构造强分类器
at= log(1-Bt/Bt)
参考:http://wenku.baidu.com/view/d78e46d276eeaeaad1f33071.html