模型整合之模型堆叠——详细理解Stacking model

已于 2022-09-02 01:02:27 修改
阅读量6.6k 收藏 38
点赞数 13
文章标签： 机器学习 python 人工智能
于 2022-08-30 00:30:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzoo2200/article/details/126595180
版权
Stacking是一种有效的集成学习方法，通过结合多个模型的预测来创建更准确的预测。本文详细介绍了Stacking的概念，包括无Cross-Validation Stacking和Cross-Validation Stacking的工作流程，以及如何选择和评估Meta-Classifier。Stacking通过减少过拟合风险，提升了模型的泛化能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

详细理解Stacking model

如果你得到了10个不一样的model，并且每个model都各有千秋，这个时候你该怎么选？想必你一定是很为难吧，但通过集成方法，你可以轻松的将10个model合成为1个预测更精确的model。今天要介绍的就是众多集成方法里面的"Stacking"

什么是Stacking？

Leo Breiman 以他在分类和回归树以及随机森林方面的工作而闻名，他在 1996 年关于堆叠回归的论文 (Breiman 1996 b )中将堆叠形式化。尽管这个想法起源于（Wolpert 1992），名为“Stacked Generalizations”，但使用内部 k-fold CV 的现代堆叠形式是 Breiman 的贡献。

（Wolpert的文章获取：https://www.researchgate.net/publication/222467943_Stacked_Generalization）

然而，直到 2007 年，堆叠的理论背景才被开发出来，并且当算法采用了更酷的名称Super Learner （Van der Laan、Polley 和 Hubbard 2007）。此外，作者说明超级学习者将学习基础学习者预测的最佳组合，并且通常表现得与构成堆叠集成的任何单个模型一样好或更好。直到此时，堆叠工作的数学原因尚不清楚，堆叠被认为是一门黑色艺术。

**模型堆叠（Stacking）**是一种有效的集成方法，其中使用各种机器学习算法生成的预测被用作第二层学习算法的输入。该第二层算法经过训练，可以优化组合模型预测以形成一组新的预测。例如，当线性回归用作第二层建模时，它通过最小化最小二乘误差来估计这些权重。但是，第二层建模不仅限于线性模型；预测变量之间的关系可能更复杂，从而为采用其他机器学习算法打开了大门。

在这里插入图片描述

在这里插入图片描述

一般来说，Stacking由两层组成就够了。但完全可以由多层组成，其中一些层可以用作噪声的处理等等。其实不难发现，多层的Stacking与Deep learning是有点相似的。

All in all ，Stacking一般由两层组成。第一层：表现出色的基本模型；第二层：将第一层模型们的输出作为训练集得到的模型。第二层模型又被称作”meta-model

“，关键作用在于将第一层的所有模型的结果整合起来，进行输出。也就是说，第二层模型将第一层模型的输出作为特征进行训练。

在这里插入图片描述

不同种类的Stacking

在Stacking的实际应用中&

最低0.47元/天 解锁文章
zzoo2200
关注
在实际应用中，常用的模型融合方法有投票法、平均法、串行法、梯度法等。比如，投票法是选择几个模型的预测结果进行投
AI天才研究院
08-06 1816
模型融合（Model Fusion）是一个很重要的问题。由于不同模型之间的区分度不足，导致集成学习模型的泛化能力差。同时，不同任务所对应的模型也可能存在差异性，因此需要一种模型集合学习的方法对多个模型进行有效的集成。传统的集成学习方法包括Bagging、Boosting、Stacking等。本文主要介绍了常用的四种模型融合方法——投票法、平均法、串行法和梯度法。并对这些方法的特点、适用场景、优缺点及其实现过程进行阐述。
Keras深度学习库用法示例——Keras框架基本使用
AI天才研究院
08-01 2366
1990年以来，深度学习得到了越来越多的关注。随着数据量、计算性能、机器学习模型复杂度等的提升，深度学习领域也逐渐变得火热起来。目前深度学习框架很多，比如TensorFlow、Caffe、Torch、PaddlePaddle等。而近几年比较流行的深度学习框架就是由Google开源的Keras。2017年6月，Keras正式发布1.0版本，是第一个稳定的版本，支持Python 2.7 和 Python 3.6+，具有易于上手、快速开发、可扩展性强、模型模块化等特点。
stacking 框架
hbkybkzw的博客
02-06 1121
Stacking是个多层的多模型集合方法。每一层都可包括多个模型，下一层利用上一层模型的结果进行学习。可以只使用一层，然后用元学习器融合，也可以多层融合。单层融合多层融合如上图所示，Stacking结构中有两层算法串联，第一层叫做了L1，第二层叫做L2，L1和L2里面可能包含1个或多个强学习器，而元学习器只能包含一个学习器。在训练中，数据会先被输入L1，L2进行训练，训练完毕后，L2中的每个算法会输出相应的预测结果。我们将这些预测结果拼凑成新特征矩阵，再输入元学习器进行训练。
模型融合之模型堆叠
qq_46458188的博客
01-03 1836
StackingClassifier应用于分类问题，StackingRegressor应用于回归问题。level 0上训练的多个强学习器被称为，也叫做。在level 1上训练的学习器叫元学习器（meta-model）。根据行业惯例，level 0上的学习器是复杂度高、学习能力强的学习器，例如集成算法、支持向量机，而level 1上的学习器是可解释性强、较为简单的学习器，如决策树、线性回归、逻辑回归等。有这样的要求是因为level 0上的算法们的职责是找出。
【多层堆叠集成模型（Stacking Ensemble）详解】
专注技术的博主
03-11 998
堆叠集成（Stacking，简称Stacking）是一种通过训练多个不同的基学习器（Base Learners），然后再将这些基学习器的预测结果作为新特征，交给一个新的学习器（称为元学习器，Meta Learner）进行训练的集成方法。堆叠集成可以看作是一个层叠结构，其中每一层包含一个或多个模型。
【机器学习】集成学习之Stacking（堆叠泛化）
ueke1的博客
03-31 2万+
Stacking(有时候也称之为stacked generalization，堆叠泛化)是指训练一个模型用于组合 (combine)其他各个模型。即首先我们先训练多个不同的模型，然后再以之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。如果可以选用任意一个组合算法，那么理论上，Stacking可以表示前面提到的各种Ensemble方法。然而，实际中，我们通常使用单层logistic回归作为组合模型。
Stacking:机器学习集成模型之堆叠各种模型及工具源码-机器学习
03-24
堆码 简述 主要的三类集成学习方法为装袋，提升和堆叠。目前，大型的数据挖掘比赛（如Kaggle），排名靠前的基本上都是集成机器学习模型或深度神经网络。 将训练好的所有基模型对整个训练集进行预测，第$ j $个基模型对第i个训练样本的预测值将作为新的训练集中第$ i $个样本的第$ j $个特征值，同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测。 具体原理讲解参考，简单来说，集成学习其实都是将基本模型组合形成更优秀的模型，Stacking也不例外。stacking是各个算法训练全样本的结果再用一个元算法融合这些结果，它可以选择使用网格搜索和交叉验证。 Mlxtend框架 基本上，现代传统机器学习领域的库基本上被sciket-learn（sklearn）占领，如果你没有使用过sklearnlib，那就不能使用过机器学习算法进行数据挖掘。但是，自定义集成学习库依
【机器学习之模型融合】Stacking堆叠法
热门推荐
累了
01-16 3万+
Stacking堆叠法原理透析与应用
【机器学习大杀器】Stacking堆叠模型
向往有那么一天梦幻的步态识别落地，开花❀！
11-06 2711
Kaglle比赛中使用Stacking模型是非常常见的大杀器，这是为什么呢？
初学Stacking--模型堆叠
weixin_44173176的博客
04-17 1954
何为stacking stacking本质上是一种分层结构，其本质思想是通过模型来学习底层学习器的训练结果。 我们先分析最简单的二级stacking。 假设训练集样本数量为10000，测试集有3000。 若第一级的基学习器有三个，第一个学习器（Model1)先对训练集进行训练，如下图，假设采用5折交叉验证法，每次训练都能在训练集中得到一个predict(橙色）以及对整个测试集预测得到一个测试值（绿...
一文搞懂：什么是Stacking堆叠？手把手带你搭建堆叠模型，附有python源码和数据集。
专注技术的博主
12-20 2390
Stacking 通过整合多个基学习器的预测结果，结合元学习器的学习能力，能够显著提升模型的预测性能。它不仅能提高预测的准确性，还能减少过拟合风险，适用于多种复杂的机器学习任务。然而，Stacking 也存在训练时间长、计算开销大的问题，因此在使用时需要根据具体情况权衡。# 忽略所有警告# 对需要转换的列进行对数转换# 为了避免对数运算中的负值或零，加上常数1，确保数据不为零。
堆叠式神经网络模型stackingKeras【Stacking+Keras】+GUI可视化应用，原理讲解+代码详细实现说明【超强的模型神器，支持自定义】
Together_CZ的博客
08-10 2868
声明： 本博客中的VIP系列博客内容严禁转载，未经允许不得以任何形式进行传播，违者追究侵权责任！ 堆叠式神经网络模型【Stacking+Keras】+GUI可视化应用 ...
AI上推荐 之 NeuralCF与PNN模型(改变特征交叉方式）
Miracle8070
10-21 1万+
1. 前言 随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战： 信息消费者：如何从大量的信息中找到自己感兴趣的信息？ 信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？ 为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协
模型融合-Stacking
GitzLiu
09-12 1994
这篇是作为我的笔记，所以写的可能不易大家阅读。 这是我理解的Stacking方法 结合下面这站图一起来看 看懂这两张图，stacking就没啥问题了。 感觉正常情况下，stacking方法应该是很有效。 注意几点： 使用的是 predict_probe() 方法，而非 predict() 方法，因此，若model没有 predict_probe() 方法，则无法使用stacki...
【机器学习大杀器】Stacking堆叠模型-English
向往有那么一天梦幻的步态识别落地，开花❀！
11-06 1643
The stacking model is very common in Kaglle competitions. Why?
stacking 模型融合
格物致知
06-21 4626
结合策略 假定集成包含T个基学习器，其中h_i在示例x上的输出为h_i(x). 对于数值型的输出，最常见的结合策略是averaging.分为simple averaging 和 weighted averaging.对于分类任务，最常见的结合策略是voting.当训练数据很多时，一种更为强大的结合策略是使用学习法，即通过另一个学习器来结合。Stacking是学习法的典型代表。
Ensembling&Stacking models（模型融合）
akon_wong_hkbu的博客
10-18 1513
具体见GitHub https://github.com/wangxupeng/Competition/blob/master/Kaggle-titanic/Ensembling%20%26%20Stacking%20models.ipynb
Python3机器学习实践：集成学习之Stacking(模型堆叠)
AnFany
01-02 3859
一、Stacking流程图 Stacking是个多层的多模型集合方法。每一层都可包括多个模型，下一层利用上一层模型的结果进行学习。下面以2层为例介绍此方法： 2层Stacking运行示意图 Stacking第一层中模型Mi的运行示意图 二、Stacking步骤说明 数据集说明 训练数据集设为DT，假设样本数为3000；预测数据集合为DP，假设样本数为500；将训练数据集进行K...
论文解读《StackTADB:一种基于堆叠的集成学习模型，用于准确预测果蝇中的 topologically associating domains(TADs)的范围》
qq_53674802的博客
04-11 1684
摘要 染色体由许多不同的染色质结构域组成，可称为拓扑结构域或拓扑关联结构域(TADs)。这些结构域在不同细胞类型之间是稳定的，在物种间高度保守，因此这些染色质结构域被认为是染色体折叠的基本单位，被认为是染色体组织中重要的二级结构。然而，由于高碳数据或实验的高成本和低分辨率，TAD边界的识别仍然是一个巨大的挑战。在本研究中，我们提出了一个新的集成学习框架，称为StackTADB，用于预测TADs的范围。StackTADB集成了四种基本分类器，包括随机森林、逻辑回归、k-邻接和支持向量机。通过对前期研究数据集的
layer Stacking
最新发布
03-21
### Layer Stacking 的概念与实现 Layer stacking 是一种模型集成技术，在机器学习和深度学习框架中被广泛应用。它通过构建多层的子模型来逐步提升预测性能，每一层都基于前一层的结果进行训练并改进最终输出。 #### 基本原理 Stacking 方法的核心在于利用多个基础模型（base models）的预测结果作为输入特征，传递给更高层次的元模型（meta-model）。这种分层结构允许更复杂的模式识别以及更高的泛化能力[^1]。 #### 实现步骤概述 以下是使用 Python 和常见库如 Scikit-Learn 或 TensorFlow/Keras 来实现 layer stacking 的方法： 1. **定义基础模型** 首先创建一组不同的基础分类器或回归器。这些可以是线性模型、树状模型或其他任何适合任务需求的选择。 2. **生成交叉验证数据集** 使用 k-fold 交叉验证机制运行每一个基础模型，并保存它们对于测试折上的预测值。这一步骤确保了无偏估计并且防止过拟合现象的发生。 3. **训练元模型** 将上一阶段得到的基础模型预测结果组合成新的特征矩阵，以此为基础训练一个或者多个高级别的元模型。 4. **评估整体堆叠架构的表现** 对整个 stack 进行最后的整体评价，确认其相对于单一最佳基底模型是否有显著改善。 下面给出一段具体的代码示例展示如何在 scikit-learn 中完成上述过程: ```python from sklearn.model_selection import KFold, cross_val_predict from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.svm import SVC import numpy as np def get_stacked_data(X_train, y_train, base_models): """Generate stacked features.""" kf = KFold(n_splits=5) meta_features = None for model in base_models: oof_pred = [] for train_index, val_index in kf.split(X_train): X_trn, X_val = X_train[train_index], X_train[val_index] y_trn = y_train[train_index] mdl = clone(model) mdl.fit(X_trn, y_trn) pred = mdl.predict_proba(X_val)[:,1].reshape(-1,1) oof_pred.append(pred) full_oof_preds = np.vstack(oof_pred) if meta_features is not None: meta_features = np.hstack([meta_features,full_oof_preds]) else: meta_features = full_oof_preds return meta_features # Example usage of function above. if __name__ == "__main__": # Define some simple classifiers that will act as our 'level-0' estimators. lr_clf = LogisticRegression() dtree_clf = DecisionTreeClassifier(max_depth=7) svm_clf = SVC(probability=True,C=1,kernel='linear') level_0_estimators=[lr_clf,dtree_clf,svm_clf] # Assume we already have `X` and `y`. X_meta = get_stacked_data(X,y,level_0_estimators) # Now fit a final estimator using these new transformed features. logreg_final_estimator = LogisticRegression().fit(X_meta, y) ``` 此脚本展示了如何建立简单的两层 stacking 架构——其中第一层由三种不同类型的算法组成；第二层则是一个逻辑回归分析仪负责整合来自底层的信息做出最终决策。 #### 注意事项 尽管 stacking 能够带来更好的表现效果，但也需要注意几个方面： - 数据泄露风险：如果处理不当可能会引入泄漏问题从而影响真实世界应用中的可靠性； - 计算成本增加：由于涉及多次迭代计算所以耗时较长尤其当样本量较大时更为明显； - 参数调优复杂度上升：随着层数增多调整超参数变得更加困难。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值