adaboost----从基于加法模型的前向分步算法推导出adaboost

目录

一 加法模型

1 什么是加法模型

2 存在弊端

二 前向分步算法

1 什么前向分步算法

2 学习加法模型的前向分步算法步骤如下：

三 adaboost

1 定理：

2 解析：

3 证明：

   (1)基函数

   (2)损失函数

四 代码实现

 

五 总结

---

一 加法模型

1 什么是加法模型

加法模型(additive model)又叫可加模型,

具体细化到生活中的实例，就比方说你在建一座跨海大桥，需要设计方案，不同的人对此有不同的思路，桥梁专家对于桥梁建设有方案，材料专家对于建桥的材料有思路，海洋专家对于大桥下面的海洋水流有建议，综合不同人的思路及建议，完整的整理相加出一套解决方案。

加法模型的数学抽象（公式）：

其中各个参数的含义：

指的是基函数（可以理解为此人对于建桥的意见，例如材料专家给出要使用钢筋混凝土浇筑）

基函数参数（可以理解为此人的特点，例如是桥梁专家，或者是水利专家）

基函数系数（此人的重要性，例如在建桥中，首先要服从桥梁专家，气候专家的意见权重就要小一些）

x指的就是这个问题（建桥问题）
在给定训练数据和损失函数的L(y,f(x))的条件下，学习加法模型f(x)损失函数最小化

这是一个复杂的优化问题。

2 存在弊端

   计算困难，所以采用前向分布算法来逐步计算参数，每一步只学习一个基函数及其系数，逐步逼近优化目标函数。简化优化的复杂度。

二 前向分步算法

1 什么前向分步算法

前向分步算法是简化复杂优化问题的一种方法。因为学习的是加法模型，所以能够从前向后，一步一步学习，每一步只学习一个基函数和它的系数，逐步逼近复杂的优化问题的目标函数。每步只需要优化所有样本的损失函数就可以了：

2 学习加法模型的前向分步算法步骤如下：

输入：基函数集{b(x;γ)}

输出：加法模型f(x)

(1)初始化f0(x)=0

(2)对m=1，2，3，4……M

          a 极小化损失函数

                       得到参数

           b 更新