【提升（Boosting）方法】

提升方法需要回答两个问题：

• 一是在每一轮如何改变训练数据的权值和概率分布
• 二是如何将弱分类器组合成一个强分类器。

先对上述问题做简单的回答：

• 提高那些被前一轮弱分类器错误分类样本的权值（因为它们的数量少。需要在下一轮训练的时候给予他们更大的关注）。
• 加权多数表决，误差率小的分类器权值比较大。

Adaboost

输入： 训练集$T= {(x_1, y_1), (x_2, y_2), (x_3, y_3), ... , (x_N, y_N)}$, 其中$x\in X^{R^n}, y_i \in Y=\{ +1, -1\}$ ; 弱学习算法
输出：最终分类器G(x)

1. 初始化权值分布$D_{1} = (w_{1, 1}, ... , w_{1, i}, ... , w_{1, N})$

2. 对 m = 1, … , M

   1) 训练弱分类器$G_i$
   2) 计算当前弱学习器的误差率$e_m$:

   $$e_m =P(G_m(x_i) \neq y_i)=\sum_{G_m(x_i \neq y_i)}w_{mi}$$ $e_m$的本质是被$G_m(x)$误分类样本分类器的G_i(x).
   3) 计算权值$\alpha_m$, $$\alpha_m = \frac{1}{2}log\frac{1-e_m}{e_m}$$ 可以看出，$e_m$越大，则$\alpha_m$越小（误差大的权重小）。
   4) 更新数据集的权值分布
   $$D_{m+1} = (w_{m+1, 1}, ... , w_{m+1,i}, ... , w_{m+1, N})$$ $$w_{m+1, i} = \frac{w_{mi}}{Z_m}exp(-\alpha_my_iG_m(x_i)), i=1, 2, 3, ... N$$ $$Z_m=\sum_{j=1}^Nw_{mj}exp(-\alpha_my_jG_m(x_j))$$
   $Z_m$是归一化因子，它使$D_{m+1}$ 成为一个概率分布
   $w_{m+1, i}$ 还可以写成：
   $$w_{m+1, i} = \frac{w_{mi}}{Z_m}exp(-\alpha_m), G_m(x_i) = y_i$$
   $$w_{m+1, i} = \frac{w_{mi}}{Z_m}exp(\alpha_m), G_m(x_i) \neq y_i$$
   所以，我们可以再次看出，误分类的样本的权值比正确分类的样本权值高。误分类样本的权值被放大$e^{2\alpha_m} = \frac{e_m}{1-e_m}$

3. 构建弱分类器的组合 $$f(x) = \sum_m^{M}\alpha_mG_m(x)$$
   $\alpha_m$将决定不同分类器的权重
4. 4.