AdaBoost的一点记录

AdaBoost通过每次训练一个弱分类器并计算其错误率来更新样本的权值,使得分类错误的样本的权值更大,从而在下一次训练时得到更多关注,对分类器的分类结果影响更大。

AdaBoost的算法流程:

在计算第 t 次迭代的错误率 \epsilon _{t} 时,要把样本的权值考虑进去,更具体的,

\large \epsilon _{t}=\sum_{i=0}^{m}w_{t}^{(i)},y_{i}\neq h_{t}(x_{i})

其中 \large w_{t}^{(i) 是第 i 个样本在第 t 次迭代时的权值 ,即,当前弱分类器的错误率是预测错误的样本的权值之和。根据公式,被分类错误样本的权值提升因子:

e^{\alpha _{t}}=e^{\frac{1}{2}*ln(\frac{1-\epsilon _{t}}{\epsilon _{t}})} =(\frac{1-\epsilon _{t}}{\epsilon _{t}})^{\frac{1}{2}}

当弱分类器的正确率大于0.5,即 \epsilon _{t} < 0.5时,被分类错误的样本的权值就可以得到提升,接下来的迭代才是有意义的。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值