![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
一路没你
这个作者很懒,什么都没留下…
展开
-
Adaboost算法
集成学习有两大类:bagging和boosting。随机森林是bagging的一个例子,而Adaboost是boosting的典型算法。什么是boosting bagging算法是由多个学习器组成的,但是学习器之间是并行\color{#FF0000}{并行}并行的,意思就是学习器之间互补干扰,各自训练各自的,各自测试各自的数据,然后通过整合每个学习器返回的数据最终得到结果。 整合...原创 2019-06-13 15:51:48 · 267 阅读 · 0 评论 -
特征选择
参考文章:https://www.cnblogs.com/pinard/p/9032759.html 和西瓜书特征选择是数据预处理的一种,主要有三种方式:过滤式选择,包裹式选择和嵌入式选择。过滤式选择 过滤式选择,顾名思义,就是过滤掉不需要的特征或者说选择更有用的特征。那么如何判断特征是否有用,是否需要呢?这个标准其实有很多,我们下面列举几个:相关系数 求解某一特征和标签的相...原创 2019-06-21 10:07:34 · 654 阅读 · 0 评论 -
最大似然和EM算法
最大似然 你知道一个分布,但是不知道分布的具体参数,比如你知道学校男生身高分布服从高斯分布,但是你不知道其参数,即θ=[u,σ]\theta=[u,\sigma]θ=[u,σ]。这是就可以使用最大似然来求解参数。 首先需要从该分布中采样获取数据,比如你获取了NNN个数据,就可以得到其似然函数,如下:L(θ)=L(x1,…,xn;θ)=∏i=1Np(xi;θ)L(\theta)=...原创 2019-06-11 16:54:53 · 268 阅读 · 0 评论 -
Adaboost公式推导补充
AdaBoost和前向分步算法AdaBoost可以理解为一个前向分步算法,前向分步算法是一个加法模型,其表达式为:f(x)=∑t=1Tαtht(x)f(x)=\sum_{t=1}^T \alpha_th_t(x)f(x)=t=1∑Tαtht(x)对应于上面公式推导的弱分类器的输出。在AdaBoost中的前向分步算法的损失函数为指数损失函数:L(y,f(x))=exp[−yf(...原创 2019-09-06 16:58:41 · 318 阅读 · 0 评论