AdaBoost详解

​ AdaBoost（“Adaptive Boosting”（自适应增强））算法是提升算法（boosting）的一种。提升方法是从弱学习器出发，反复学习得到一系列若分类器，然后组合弱分类器。

​ 对提升方法来说，有两个问题需要回答:一是在每一 轮如何改变训练数据的权值或概率分布;二是如何将弱分类器组合成-一个强分类器。关于第1个问题，AdaBoost的做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。第2个问题，即弱分类器的组合，AdaBoost采取加权多数表决的方法。具体地，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

算法思想：它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数

AdaBoost算法

• 输入：训练数据集KaTeX parse error: Undefined control sequence: \cal at position 51: …_N)\}, x_i\in \̲c̲a̲l̲ ̲X\sube \R^n, 弱学习方法
• 输出：最终分类器$G(x)$

步骤

1. 初始化训练数据的权值分布 $D_1=(w_{11},\cdots ,w_{1i},\cdots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,\dots ,N$

2. $m=1,2,\dots ,M$

   (a) 使用具有权值分布$D_m$的训练数据集学习，得到基本的分类器：
   G m ( x ) : X − > { − 1 , + 1 } G_m(x):\mathcal X->\{-1,+1\} Gm​(x):X−>{−1,+1}

   (b) 求$G_m(x)$在训练集上的分类误差率 ：
   $$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$
   © 计算$G_m(x)$的系数：
   $${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$

   (d) 更新训练集的权值分布：
   $$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-{\alpha }_m{y}_i{G}_m(x_i))$$

   其中，$Z_m$ 是规范化因子，$Z_m={\sum }_{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$

3. 构建基本分类器的线性组合：
   $$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$

4. 最终分类器:
   $$G(x)=sign(f(x))=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$

说明：

​ 步骤（1）假设训练数据具有均匀的权值分布，即每个训练样本在基本分类器的学习中作用相同，这一假设保证第一步能够在原始数据上学习基本分类器$G_1(x)$。

​ 步骤（2）AdaBoost 反复学习基本分类器，在每一轮$m=1,2\dots ,M$ 顺次执行下列操作：

（a）使用当前分布$D_m$ 加权的训练数据集，学习基本分类器$G_m(x)$。

（b）计算基本分类器$G_m(x)$ 在加权训练集上的误分类误差：
$$e_m=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)=\sum _{G_m(x_i)\ne y_i}{w}_{mi}$$
误差率是指被$G_m(x)$误分类样本的权值之和。

（c）计算基本分类器$G_m(x)$的系数${\alpha }_m$。由：
$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
可知，当$e_m\le \frac{1}{2}$ 时，${\alpha }_m\ge 0$，且${\alpha }_m$ 随着$e_m$ 的减小而增大，所以分类误差率越小的基本分类器在最终分类器中的作用越大。

（d）更新训练数据的权值分布为下一轮做准备。式$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))$中：

当$y_i=G_m(x_i)$时，$y_i{G}_m(x_i)=1$

当$y_i\ne G_m(x_i)$时，$y_i{G}_m(x_i)=-1$

所以有：
$$w_{m+1,i}=\{\begin{array}{l}\frac{w_{mi}}{Z_m}{e}^{-{\alpha }_m}{y}_i=G_m(x_i)\\ \frac{w_{mi}}{Z_m}{e}^{{\alpha }_m}{y}_i\ne G_m(x_i)\end{array}$$
由此可知，被基本分类器$G_m(x)$ 误分类的样本权值得以扩大，而被正确分类的样本权值缩小。误分类样本权值被放大了$e^{2{\alpha }_m}=\frac{1-e_m}{e_m}$ 倍。

步骤(3)，实现M个基本分类器的加权表决。

AdaBoost算法解释

AdaBoost 算法是加法模型，损失函数为指数函数，学习算法为前向分步算法的二类分类学习算法。

前向分步算法

考虑加法模型：
$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$
其中，$b(x;{\gamma }_m)$ 为基函数，${\gamma }_m$ 为基函数的参数，${\beta }_m$ 为基函数的系数。

给定训练数据及损失函数$L(y,f(x))$ 的条件下，学习加法模型$f(x)$ 成为经验风险极小化即损失函数极小化问题：
$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)\right)$$
前向分步算法求解此问题的想法：从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数。每步只需优化如下的损失函数：
$$\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,\beta b(x;\gamma )\right)$$
给定训练数据集KaTeX parse error: Undefined control sequence: \cal at position 49: …y_N)}, x_i \in \̲c̲a̲l̲ ̲X \sube R^n, y_…，损失函数$L(y,f(x))$ 和基函数集合 { b ( x ; γ ) } \{b(x;\gamma)\} {b(x;γ)} ，学习的加法模型$f(x)$ 的前向分步算法如下：

输入：训练数据集KaTeX parse error: Undefined control sequence: \cal at position 49: …y_N)}, x_i \in \̲c̲a̲l̲ ̲X \sube R^n, y_…， 损失函数$L(y,f(x))$; 基函数集合 { b ( x ; γ ) } \{b(x;\gamma)\} {b(x;γ)}

输出：加法模型$f(x)$

步骤：

1. 初始化$f_0(x)=0$

2. 对$m=1,2,\dots ,M$

3. 极小化损失函数
   $$({\beta }_m,{\gamma }_m)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma ))$$

4. 更新
   $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;{\gamma }_m)$$

5. 得到加法模型
   $$f(x)=f_M(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$

前向分步算法与AdaBoost

AdaBoost算法是前向分步算法的特例，这时，模型是由基本的分类器组成的加法模型，损失函数是指数函数。

由前向分步算法可以推导出AdaBoost。具体过程如下：

AdaBoost 的最终分类器是一个加法模型：
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
假设经过$m-1$次迭代，前向分步算法已经得到$f_{m-1}(x)$：
$$\begin{array}{rl}{f}_{m-1}(x)& =f_{m-2}(x)+{\alpha }_{m-1}{G}_{m-1}(x)\\ & ={\alpha }_1{G}_1(x)+{\alpha }_{m-1}{G}_{m-1}(x)\end{array}$$
在第$m$轮迭代得到${\alpha }_m,G_m(x),f_m(x)$:
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$

设该前向分步算法的损失函数是指数函数：
$$L(y,f(x))=\exp [-yf(x)]$$
第m轮得到的${\alpha }_m,G_m(x),f_m(x)$ 在训练集上损失函数最小，即：
$$({\alpha }_m,G_m(x))=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^N\exp [-y_i(f_{m-1}(x_i)+\alpha G(x_i))]$$
令${\bar{w}}_{mi}=\exp [-y_i{f}_{m-1(x_i)}]$，为常数，则上式可以简化为：
$$({\alpha }_m,G_m(x))=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^N{\bar{w}}_{mi}\exp [-y_i\alpha G(x_i)]$$
（1）先求$G_m^{\ast }(x)$，对任意$\alpha >0$，使得上式最小的$G(x)$由下式得到：
$$G_m^{\ast }(x)=\arg \underset{G}{\min }\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G(x_i))$$
此分类器$G_m^{\ast }(x)$即为AdaBoost算法的基本分类器。即使得第m轮加权训练数据分类误差率最小的基本分类器。

（2）再求${\alpha }_m^{\ast }$。

将$G_m^{\ast }(x)$带入损失函数，并对$\alpha$ 求导，使其等于0，便可得到：
$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
其中，$e_m$ 是分类误差率
$$e_m=\frac{\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G_m(x_i))}{\sum _{i=1}^N{\bar{w}}_{mi}}=\sum _{i=1}^N{w}_{mi}I(y_i\ne G(x_i))$$
求解得的$G_m^{\ast }(x),{\alpha }_m^{\ast }$与AdaBoost 算法的结果相同。

最后看样本权重的更新。由
$$\begin{gathered} f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x) \\ {\bar{w}}_{mi}=\exp [-y_i{f}_{m-1(x_i)}] \end{gathered}$$
可得：
$${\bar{w}}_{m+1,i}={\bar{w}}_{m,i}\exp [-y_i{\alpha }_m{G}_m(x)]$$