损失函数介绍-回归问题篇

最新推荐文章于 2023-01-13 01:15:48 发布
最新推荐文章于 2023-01-13 01:15:48 发布
阅读量365 收藏
点赞数
分类专栏： 机器学习 文章标签： 回归函数 机器学习 MSE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangtengji/article/details/94428573
版权

损失函数是机器学习算法中的目标，是用来评定数据建模程度的方法。如果预测值和实际结果偏差较远，损失函数的值就会偏大，反之则较小。

损失函数从广义层面分为两类：回归损失函数和分类损失函数。

回归损失

均方误差、平方损失、L2损失

MSE=\frac{\sum _{i=1}^n(y_i-\widehat{y}_i)^2}{n}

这个函数的含义很明确，就是观测值和实际值的平方误差，这个损失函数的梯度属性较好，比较容易求得最低值。

L1损失

MAE=\frac{\sum_{i=1}^n|y_i-\widehat{y}_i|}{n}

MAE计算会比较困难，需要使用线性规划的工具来计算梯度，这个损失函数对于异常值更加稳健，因为它不使用平方。

平方偏差误差

MBE=\frac{\sum_{i=1}^n(y_i-\widehat{y_i})}{n}

正负差可以抵消，实际应用中没有这么准确。

 

 

jimmyzhang33
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
线性模型（linear model）基本定义及参数求解数学本质、损失函数的选择与评估数学原理、及其基于线性模型衍生的其他机器学习模型相关原理讨论...
weixin_30485291的博客
03-24 3531
1. 线性模型简介 0x1：线性模型的现实意义 在一个理想的连续世界中，任何非线性的东西都可以被线性的东西来拟合（参考Taylor Expansion公式），所以理论上线性模型可以模拟物理世界中的绝大多数现象。而且因为线性模型本质上是均值预测，而大部分事物的变化都只是围绕着均值而波动，即大数定理。 事物发展的混沌的线性过程中中存在着某种必然的联结。事物的起点，过程，高潮，衰退是一个能被推演的...
损失函数loss
热门推荐
皮皮blog
04-12 2万+
http://blog.csdn.net/pipisorry/article/details/23538535 监督学习及其目标函数 损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。 损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部...
神经网络中梯度下降的参数更新公式理解
ydzyr的博客
12-20 1490
目的：降低损失函数y 可调整数值：变量x(式子中时θ) 当求得导数为正数时，代表x增大，y也增大，根据目的，需要减小x,这样y也会减小，所以取导数反方向，即更新为负号。 当求得导数为负数时，代表x增大，y减小，与目的相同，如何增大x呢，也需要取导数反方向，即 x-导数，这样y也就减小了。 综合两种情况，可以看出取取导数的反方向更新x,会使得y损失函数减小。 参数更新方向确定了，如何更新的更好呢，有一个学习率控制，还有没有更好的方法呢，得琢磨琢磨。 ...
目标函数，损失函数，代价函数理解
canoe1234的博客
03-27 222
参考链接 https://blog.csdn.net/weixin_33768481/article/details/94711581 https://blog.csdn.net/lyl771857509/article/details/79428475?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=dis...
（二）机器学习的流程概述，线性规划，图像分类
m0_54896712的博客
01-13 634
本文将以图像分类讲解机器学习的大致流程，设计众多知识点，包括但不限于：线性规划、支持向量机、损失函数、正则项、梯度下降算法、数据集处理。
pytorch学习－－线性回归
01-23
PyTorch线性回归实现 PyTorch是一个基于Python的深度学习框架，它提供了强大的工具和库...这篇文章展示了如何使用PyTorch来实现一个简单的线性回归模型，从数据生成到模型定义、初始化、损失函数、优化器和模型训练。
常见的损失函数.docx
09-16
在机器学习和深度学习中，常见的损失函数有多种，这篇文章将对其中的一些进行介绍和解释。 1. 交叉熵损失（Cross-Entropy Loss） 交叉熵损失是一种常用的损失函数，用于衡量分类模型的性能。它是基于概率估计的，...
2.2回顾损失函数偏导数1
08-04
在本篇内容中，我们将深入探讨逻辑回归的相关知识点，包括损失函数的偏导数推导、正则化以及多分类问题。逻辑回归是一种广泛应用的分类算法，尤其在二分类问题中表现出色。以下是对各部分的详细解释： 1. **逻辑...
数据回归-多尺度核支持向量回归模型的研究.pdf
06-25
模型的其他参数，如惩罚系数、核函数权系数以及损失函数参数，则通过混沌遗传算法进行优化搜索，该算法能够在复杂搜索空间中有效地寻找全局最优解。 实验部分，研究者对比了四种模型的表现：单核SVR模型、多尺度...
机器学习 回归篇（1）——多元线性回归
12-20
机器学习 回归篇（1）——多元线性回归摘要线性回归简介python实现运行结果及可视化 摘要 本文介绍了最基础的回归问题——多元线性回归，并通过python进行实现及可视化展示运行结果。 线性回归简介 线性回归问题的...
损失函数学习笔记
11-28
在浏览了网上大量关于损失函数的文档后，总结和归纳的损失函数学习笔记，尤其是softmax loss，对目前比较新的A-softmax、center loss、coco-loss、triple-loss等都有较为全面的理论推导和解释，对于入门级的同学具有一定的参考价值。
error c2064: 项不会计算为接受 1 个参数的函数_【深度学习笔记（一）】之线性分类与损失函数...
weixin_35125159的博客
01-13 1092
一．线性分类函数　　　　　　f(x,W) = W*x + b　　x为输入图像，W为多个参数，f(x,W)为输出是多个分类的概率。比如: 　　x 图像的大小为 32 x 32 x 3，排成一列，尺寸为 3072 x 1； 　　共10个分类，输出f(x,W)为 图像判定为10个分类中每个类别的概率，尺寸为10 x 1； 　　因此，可以反推出多个参数的矩阵...
目标函数与损失函数的区别
wangyuxi__的博客
10-07 9415
转自https://blog.csdn.net/u011500062/article/details/55522609 损失函数度量的是预测值与真实值之间的差异。损失函数通常写作,代表预测值，代表真实值。例如square loss定义为，square loss定义为。目标函数就是一个更加宽泛的概念。目标函数是优化问题中的一个概念。任何一个优化问题包括两个部分：(1)目标函数，最终是要最大化或者最...
线性回归的损失函数及梯度下降
Lu_mi的博客
11-29 1986
文章目录线性回归损失函数 线性回归 回归就是输出是连续的函数，那么线性回归就是输出是直线的连续函数。也就是我们数学中所说的一次函数。 Y = θ1X+θ0 在这个函数里有两个参数：θ1和θ0。θ1是斜率，θ2是截距。想下边这个房价与面积关系图片 我们会在大脑中把这些点组合起来，大致是一条过原点的直线，则可以写为 Y = 0.8X 对应到线性回归公式中，θ1为0.8，θ0为0。 那怎么判断这个回归是否准确？则要引入另一个函数： 损失函数 它的意思是，真实值与预测值差的平方的均值除以二。 当损失函数
机器学习之线性回归 损失函数、代价函数、目标函数
fenglepeng的博客
03-14 944
损失函数（Loss Function）定义在单个样本上，算的是一个样本的误差。比如： 其中 0-1损失函数: 感知器损失函数： 平方和损失函数： 绝对损失函数： 对数损失函数： 代价函数（Cost Function）定义在整个训练集上，是所有样本误差的平均值，也就是损失函数的平均，比如： ,其中 目标函数（Object Functi...
常见回归和分类损失函数比较
沈春旭的博客
03-29 6764
文章转自知乎作者wdmad，更多内容建议阅读原文：https://zhuanlan.zhihu.com/p/36431289 本博文属于阅读笔记，融合了个人观点。 1. 损失函数 损失函数的一般表示为L(y,f(x))，用以衡量真实值 y和预测值 f(x)之间不一致的程度，一般越小越好。为了便于不同损失函数的比较，常将其表示为单变量的函数，在回归问题中这个变量为[y-f(x)] ：残差表...
机器学习中的损失函数分析
杨燕丹的博客
12-18 2万+
这里分析讨论了机器学习中分类与回归问题应用的几个经典、简单的损失函数。 在机器学习中，所有的机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程，我们常常把最小化的函数称为损失函数，它主要用于衡量机器学习模型的预测能力。回归会预测给出一个数值结果而分类则会给出一个标签。最小二乘法是损失函数的一种优化方法。但是有些损失函数采用传统数学方法是很难求解最小值的，而机器学习中的反向传播算法...
回归模型常见的损失函数
木东的博客
08-25 2904
注意：如果图片不显示，请建议科学上网或者使用VPN。 机器学习中的所有算法都依赖于最小化或最大化函数，我们将其称为“目标函数”。最小化的函数组称为“损失函数”。损失函数是衡量预测模型在能够预测预期结果方面的表现有多好的指标。寻找最小值的最常用方法是“梯度下降”。想想这个函数的作用，如起伏的山脉和梯度下降就像滑下山到达最低点。 没有一种损失函数适用于所有类型的数据。它取决于许多因素，包括异常值的存在，机器学习算法的选择，梯度下降的时间效率，易于找到衍生物和预测的置信度。 损失函数可大致分为两类：分类和回归
损失函数简介
weixin_46319994的博客
02-25 3976
损失函数的作用：衡量模型预测的好坏。 简单来说就是，损失函数就是用来表现预测与真实数据的差距程度。 令 真实值 为Y，预测值为 f(x)，损失函数为L( Y , f(x）），关系如下： 损失函数（loss funtion）是用来估量模型的预测值和真实值的不一样程度，它是一个非负实值函数。损失函数越小，模型的鲁棒性就越好。 例子： X：门店数 Y：销量 我们会发现销量随着门店数上升而上升。于是我们就想要知道大概门店和销量的关系是怎么样的呢？ 我们根据图上的点描述出一条直线： .
yolov3 改进损失函数
最新发布
09-23
Focal-EIoU是CVPR2020中一篇关于边界框损失函数的文章，旨在改进目标检测中的边界框回归（BBR）问题。传统的BBR损失函数存在两个主要缺点，一是无法有效地描述BBR的目标，导致收敛速度慢和回归结果不准确；二是忽略...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值