直接估计模型MSE的两种方法（Cross-validation和Bootstrap），以及超参数的选取

已于 2025-02-24 17:07:29 修改
阅读量874 收藏 20
点赞数 7
文章标签： 深度学习 人工智能
于 2024-07-17 21:20:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangluxxin/article/details/140504924
版权

Cross-validation称为交叉验证；Bootstrap称为自助法。其实这两种方法都是重采样的思想，可以以此来估计我们模型的MSE。

1、CV交叉验证

k折交叉验证，就是将样本均分为k块，首先拿第一块作为test，剩下的作为train训练模型，得到test的MSE；接着拿第二块作为test，剩下的作为train；... ;以此类推，直到最后一块作为test，前面的作为train。

这样我们就可以得到k个MSE，最终取平均就能得到这个模型的MSE的估计值。

remark：注意做交叉验证的k次过程中的模型其实是一样的，比如说都是一元线性模型，进行一次k折交叉验证后，最终得到的就是这个一元线性模型的MSE的估计值。然后更换模型比如为三元线性模型，也能得到这个三元线性模型的MSE估计值。        目的就在于比较这两个模型的MSE的大小，哪个小选哪个。所以使用CV交叉验证不是为了估计某个模型的参数，而是为了选择是哪一种模型的MSE最小！(这是很重要的一点，我之前就没想通。现在才明白！)

2、Bootstrap

这个很好理解，假设我们最初有n个样本X1,...,Xn，Bootstrap就是从这n个样本中进行有放回的抽取n个，得到我们新的样本，用这个新的样本来训练模型，计算MSE。这个过程可以进行很多次，最后所有的MSE取平均也能得到我们模型的MSE估计值。

3、超参数的选取

我们这两种方法呢，就可以用于模型超参数的选取，比如一个模型是Y = X\beta + \lambda，这里\beta是模型参数，但\lambda是一个超参数，我们该怎样选取\lambda呢？

就可以使用CV交叉验证或者Bootstrap，选取不同的\lambda，来进行一次交叉验证或bootstrap，得到这个\lambda下模型的MSE，最终选取MSE最小的\lambda来作为我们这个模型的超参数。

模型评估(交叉验证——针对回归和分类、均方误差MSE、精度、精确率、召回率、F值、K折交叉验证、如何解决过拟合——L2正则化与L1正则化、欠拟合、如何区分过拟合和欠拟合——学习曲线)
sunshine_boy1的博客
01-12 1392
模型评估（交叉验证——针对回归和分类、均方误差MSE、精度、精确率、召回率、F值、K折交叉验证、如何解决过拟合——L2正则化与L1正则化、欠拟合、如何区分过拟合和欠拟合——学习曲线
【2025算法面试通关】【二.机器学习-模型评估与调优】【16. 模型评估与调优面试必知：100 道题吃透准确率、AUC 及交叉验证】
最新发布
再见孙悟空的专栏
04-09 394
AUC=1表示排序完美（所有正样本得分高于负样本），但可能存在阈值下TPR=1且FPR=0（无FP和FN），或存在阈值下仍有FP/FN（如所有正样本得分等于负样本，但排序无交错）。答：优先选择轻量模型（如LightGBM vs 深度神经网络），简化特征，使用近似算法（如随机森林的子采样），或在超参数中限制模型复杂度（如决策树最大深度）。例如，模型将所有样本预测为正类，AUC=0.5（随机排序），但准确率等于正样本比例（若正样本少，准确率低）。若数据量极大（如n=10万），用k=3或k=5减少训练次数。
ofdm信道估计的MSE性能比较,阐述了几种经典算法仿真性能的对比
09-21
信道估计的MSE性能比较,阐述了几种经典算法仿真性能的对比
交叉验证
Beware beginning
09-15 582
在机器学习里，通常来说我们不能把全部数据用于训练模型， 否则我们将没有数据集对该模型进行验证，从而评估我们的模型的预测效果 1.The Validation Set Approach 第一种是最简单的，也是很容易就想到的。 我们可以把整个数据集分成两部分，一部分用于训练，一部分用于验证， 这也就是我们经常提到的训练集（training set）和测试集（test set） 不过，这个简单的方法存在两个弊端。 1.最终模型与参数的选取将极大程度依赖于你对训练集和测试集的划分方法。 什么意思呢？我们再看
Cross validation 交叉验证 【机器学习】
weixin_45082793的博客
08-18 1523
首先我们先来重温一下resampling methods. Resampling methods are process of repeatedly drawing samples from a training data set and refitting a given model on each sample with the goal of learning more about the model. 也就是说在给定训练集而且数据量有限的情况下，我们可以通过resampling meth...
交叉验证理解
nuannuan_lay的博客
09-06 730
交叉验证 在机器学习中，通常我们不能把全部数据集用于训练模型，以为这样就没有数据集来验证模型，从而评估模型的预测效果。为了应对这一问题，常用的方法如下： 1. The Validation Set Approach 最简单的就是把数据集划分为两部分，训练集（training set， 训练模型）和测试集（test set，验证模型）。但是这样做存在两个弊端： （1）最终模型和参数的选取将极大的依赖于你对训练集和测试集的划分方法。 在不同的划分方法下，test set MSE的变动很大，并且对应的degree
交叉验证（Cross-Validation）
热门推荐
南有芙蕖
02-23 7万+
交叉验证（Cross-Validation） 目录交叉验证（Cross-Validation）一、基本方法1、保留交叉验证 hand-out cross validation2、k折交叉验证 k-fold cross validation3、留一交叉验证 leave-one-out cross validation二、Bootstrapping三、用途四、主要事件五、实例代码参考资料   交叉验证是在机器学习建立模型和验证模型参数时常用的办法，一般被用于评估一个机器学习模型的表现。更多的情况下，我们也用交叉
ISLR读书笔记八：交叉验证法（Cross-Validation）
weixin_43084570的博客
10-06 533
交叉验证法（Cross-Validation）前言校验集方法留一法k折交叉验证 前言 校验集方法 留一法 k折交叉验证
Python-基于自选算法的特征选择算法损失函数和验证方法
08-12
常见的验证方法有k折交叉验证（K-Fold Cross Validation）、留一验证（Leave-One-Out Validation）和自助采样法（Bootstrap Sampling）。k折交叉验证是最常用的，将数据集分为k个子集，每次用k-1个子集训练模型，...
模型评估(Model Evaluation)原理与代码实战案例讲解
AI天才研究院
05-29 434
https://github.com/donnemartin/gns-cs 1. 背景介绍 模型评估是任何 Machine Learning (ML) 项目的关键组成部分。在开发和部署 ML 系统时，我们通常会遇到各种不同的性能指标，
模型评估指标——均方误差(MSE)与RSquared
AI天才研究院
10-10 2247
作者：禅与计算机程序设计艺术 1.背景介绍 在机器学习领域中，模型的好坏通常通过模型的性能指标衡量。这些性能指标有很多种，本文将讨论两种最常用的模型评估指标——均方误差（Mean Squared Error）与R-Squared。 MSE(均方误差)简介
机械学习房价预测实战（mse 回归 交叉验证）
THREEFUCT的博客
09-28 1204
机器学习的框架有哪些？请写出其构建一个机器学习的流水线。
【机器学习笔记】机器学习评价指标——MSE、RMSE、MAE、R2
A34436791的博客
09-21 1万+
但通常模型不会这么完美，总会有误差存在，当误差很小的时候，分子小于分母，模型会趋近 1，仍然是好的模型，随着误差越来越大，R2-score 也会离最大值 1 越来越远，直到出现第 2 中情况。R2-score 反映的是大概有多准，因为，随着样本数量的增加，R2-score必然增加，无法真正定量说明准确程度，只能大概定量。可以看出，RMSE=sqrt（MSE），因此，MSE 和 RMSE 二者是呈正相关的，MSE 值大，RMSE 值也大，所以在评价线性回归模型效果的时候，使用 RMSE 就可以了。
参数估计的均方误差（MSE），偏置（Bias）与方差（Variance）分解，无偏估计
RSstudent的博客
08-30 1万+
介绍了均方误差，偏置和方差分解，介绍了无偏估计。并说明了最小二乘估计OLS的无偏性和MSE。
【机器学习】Cross-Validation（交叉验证）详解
01-16 9064
本文章部分内容基于之前的一篇专栏文章：统计学习引论 在机器学习里，通常来说我们不能将全部用于数据训练模型，否则我们将没有数据集对该模型进行验证，从而评估我们的模型的预测效果。为了解决这一问题，有如下常用的方法： 1.The Validation Set Approach 第一种是最简单的，也是很容易就想到的。我们可以把整个数据集分成两部分，一部分用于训练，一部分用于验证，这也就是我们经常提到
最小平方误差判别（MSE）
林景的博客
10-05 9008
最小平方误差判别（MSE） 前导知识：【d维感知器】，【一种更简单的求最小平方均值函数（MSE)的方法 – 梯度下降法。】 本文讨论线性不可分样本集的分类方法。在线性不可分的情况下，不等式组： αTyi>0,i=1,2,...,N(1) \alpha^Ty_i>0,i=1,2,...,N \tag 1 αTyi​>0,i=1,2,...,N(1) 不可能同时满足。一种直观的想法就是，希望求解一个α∗\alpha^{*}α∗使错分的样本尽可能少，即不满足不等式(1)(1)(1)的样本尽可能少
【CV】常用的损失函数
学无止境、积少成多、厚积薄发
12-03 1939
1. 前言 在总结常用的损失函数之前，我们来先回顾一下损失函数（Loss Function）、代价函数（Cost Function）和目标函数（Objective Function）的区别和联系。 在机器学习的语境下，这三个术语经常被交叉使用。 1.1. 区别 损失函数（Loss Function）通常是针对单个训练样本而言，给定一个模型 f 输出值y^i和一个真实值yi,损失函数输出一个实值损失： 代价函数（Cost Function）通常是针对整个训练集（或者在使用mini-batch grad
深度学习—— 最小二乘法 & 极大似然估计 & 梯度下降法
Gloria的博客
03-07 7134
一、最小二乘法 狭义的最小二乘，指的是在线性回归下采用最小二乘准则（或者说叫做最小平方），进行线性拟合参数求解的、矩阵形式的公式方法。所以，这里的「最小二乘法」应叫做「最小二乘算法」或者「最小二乘方法」，百度百科「最小二乘法」词条中对应的英文为「The least square method」。狭义的最小二乘方法，是线性假设下的一种有全局最优的闭式解的参数求解方法，最终结果为全局最优； 而广义...
交叉验证的缺陷及改进（Cross Validation done wrong）
mingo_敏
08-02 6684
本文主要是对我们使用交叉验证可能出现的一个问题进行讨论，并提出修正方案。 本文地址：http://blog.csdn.net/shanglianlm/article/details/47207173
机器学习模型评估与选择头歌
01-02
### 机器学习模型评估方法与选择策略 #### 训练集与测试集划分 最基础的评估方式是将数据集划分为训练集和测试集。训练集用于构建模型，而测试集则用来衡量模型的表现[^3]。 ```python from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42) ``` 这种方法简单易行，但是存在一定的局限性，比如如果样本量较小，则可能导致估计偏差较大；另外一次性的分割也可能带来偶然因素的影响[^4]。 #### 交叉验证 为了克服上述缺点，可以采用k折交叉验证技术。它会把原始样本随机分成K个子样本组(subsets)，每次取其中一组作为验证集(test set),其余K-1组合并起来做为训练集(training sets)[^2]。此过程重复执行K次(K轮迭代)，最终计算所有折叠上的平均得分作为整体表现指标： ```python from sklearn.model_selection import cross_val_score scores = cross_val_score(model, X, y, cv=5) # 使用五折交叉验证 print("Cross-validation scores:", scores.mean()) ``` 这种方式能够更充分地利用有限的数据资源，并提供更为可靠的性能评价结果。 #### 自助法（Bootstrap） 对于某些特定场景下，还可以考虑应用自助采样法来进行重抽样的操作。具体做法是从给定的数据集中有放回地抽取相同大小的新集合，部分观测可能被多次选中，也有可能从未出现过。通过创建多个这样的副本并对它们分别建模预测，最后汇总统计各个版本间的差异情况得出结论。 #### 性能度量标准 针对不同类型的预测任务，需选取合适的效能测度工具来辅助判断优劣程度。例如分类问题常用的混淆矩阵(confusion matrix)、接收者操作特征曲线下的面积(Area Under Curve,AUC)等；而对于数值型目标变量而言，则更多依赖于平方损失函数(Sum of Squared Errors,SSE)、均方误差(Mean Squared Error,MSE)及其变体形式如均方根误差(Root Mean Square Error,RMSE)以及决定系数(Determination Coefficient,$R^{2}$) 和 平均绝对误差(Mean Absolute Error, MAE) 来量化偏离程度。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值