分类问题时loss只是收敛到0.693附近的直线

VIP文章 已于 2022-07-23 10:56:57 修改
阅读量6.1k 收藏 30
点赞数 3
分类专栏： 机器学习 pytorch 深度学习 文章标签： 机器学习 pytorch 分类问题 交叉熵 深度学习
于 2022-03-26 20:47:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zouh613/article/details/123762613
版权

目录


阅读原文（https://blog.woyou.cool/post/74）
这种情况一般是在使用了交叉熵的二分类问题上容易出现，同样的，也可能出现loss收敛到1.0986、1.386等等，其实他们就是log(1/2)、log(1/3)、log(1/4)。。。

loss收敛到0.69

问题概述

根本原因：交叉熵

交叉熵公式
若q=0.5则对于01分布来说，H=log(0.5)=0.69，同理对于n分类问题来说，loss可能会收敛到log(1/n)，这都是因为各个类别拟合概率相近导致的，再看看为什么会导致各类别拟合概率相似

最低0.47元/天 解锁文章
HuntZou
关注
  • 3
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络模型loss不收敛、不下降问题汇总
科研学习笔记！
01-06 2万+
一、模型不收敛 主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
主要介绍了Pytorch损失函数nn.NLLLoss2d()用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
我们真的需要把训练集的损失降到零吗？
mathor的博客
12-01 2904
在训练模型的时候，我们需要将损失函数一直训练到0吗？显然不用。一般来说，我们是用训练集来训练模型，但希望的是验证机的损失越小越好，而正常来说训练集的损失降到一定值后，验证集的损失就会开始上升，因此没必要把训练集的损失降低到0既然如此，在已经达到了某个阈值之后，我们可不可以做点别的事情来提升模型性能呢？ICML2020的论文回答了这个问题，不过实际上它并没有很好的描述"为什么"，而只是提出了"怎么做"
关于语义分割的那些事
s724mri的博客
08-16 993
本文作为杂知识点总结，主要是备忘。 1.Focal loss 相较于CE多了个gamma系数，从图形上看，让loss函数更陡，或者说在Pi>0.5时loss下降的更快，也就是相较于同样的Pi来说，Focalloss的loss值更低。这样对于well classification的点/类就贡献了更少的loss值，从而实现了让model更专注去优化难分类的值。 举个dummy例子： Loss_狗+Loss_狼+Loss_鸡=0.05+0.05+0.02 =0.12—CE Loss_狗+Loss_狼+Los
loss收敛过小或finetune时跑飞情况分析
CHNguoshiwushuang的博客
08-17 8183
   最近在跑REDNet去噪网络，基于pytorch框架，输入输出图像被归一化到了0-1之间，loss使用的是L2 loss，理论最终收敛值为33左右。结果在之前训练好模型的基础上finetune,出现了这种情况：    当使用L1或者输入为0-255时，并没有出现这种情况。这里使用L2 loss，输入0-1之间，loss先下降，再上升，这是很反常的，一般来说有以下问题导致...
【如何有效降低unet网络在训练过程中的loss/train】
yym33的博客
06-03 2453
如何有效降低unet网络在训练中的loss值
loss问题——工作中对出现的loss问题描述与解决参考
家有代码初写成 的博客
02-23 8657
问题一：loss跑飞 如下图描述 1、学习率（lr）过大，可以自定义一个学习率的值（较小）开始学习。 参考blog：https://blog.csdn.net/CHNguoshiwushuang/article/details/81784299 也就是说，学习率如果设置过大，会导致其直接跑到另外一边，从而导致loss跑飞。当然真实的loss变化是在一个奇异空间里的，不是图上的那种二...
YOLOv3训练过程记录
波波的专栏
06-19 8519
在做YOLOv3检测的时候，第一阶段，一直使用 RMS 优化器，最多的时候训练200轮。 "rsm_strategy": { "learning_rate": 0.001, "lr_epochs": [40, 80, 120, 160], "lr_decay": [1, 0.5, 0.25, 0.1, 0.02], } 初始的学习率测试过 0.01，0.001，0.005...
caffe训练时，loss一般出现87.3365则保持不变
山中有石为玉
02-13 1371
caffe训练时，loss一般出现很奇怪的值：87.3365，则保持不变下去。直觉就有问题。 搜索资料，找到多篇帖子： https://blog.csdn.net/u011215144/article/details/78479330 https://blog.csdn.net/cheese_pop/article/details/79582077 https://blog.csdn....
利用YOLOv3代码训练自己的训练集(二)
wangshiyi924507786的博客
08-31 1702
前言 在前面(一)的代码中，我在训练一个自己的数据集时候（缺陷检测），epoch为1500，但最终的loss仍然很高，为9左右。 因此检测效果也很差，如图中所示，缺陷没检测出来。 这个时候该怎么办？增加epoch？这个方法不仅费时，而且很有可能效果仍然不好。 有一种简单的方法就是微调参数。 参数微调 1.预训练 先对整个数据集进行一次pre-training(预训练)，得到每一层的weights...
卷积神经网络loss不下降,神经网络loss多少算正常
神器榜
10-20 4978
这个问题比较泛，因为网络的损失函数是由自己设计的，如果不特殊说明一般是有均方误差和交叉熵两种损失函数的。因为合适的batch size范围和训练数据规模、神经网络层数、单元数都没有显著的关系。经网络训练时准确度突然变得急剧下降，很有可能是你的休息不够睡眠不足导致注意力不集中，近段时间的心情也很影响训练时的准确度，心情烦躁准确度也就会下降。2、batch size太大，深度学习的优化training loss降不下去和泛化generalization gap都会出问题。4、选择合适的激活函数、损失函数。
keras 自定义loss model.add_loss的使用详解
09-16
主要介绍了keras 自定义loss model.add_loss的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python课程设计基于resnet18迁移学习的猫狗分类问题源码.zip
06-21
python课程设计基于resnet18迁移学习的猫狗分类问题源码。 训练记录截取： [Time: 4h 53m 19s, Epoch: 50, Batch: 400 / 1250] loss: 9.063549940416124 Best Epoch: 49 , Current Acc Of Val Set: 0.9536 , Best ...
细数nn.BCELoss与nn.CrossEntropyLoss的区别
12-20
可以知道，BCELoss是Binary CrossEntropyLoss的缩写，BCELoss　CrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntropyLoss可以用于二分类，也可以用于多分类。 不过我重新查阅了一下资料，发现同样是处理二...
Epoch200-Total_Loss2.0690-Val_Loss2.3955.pth
06-05
使用6000张数据集训练了200代的火焰烟雾识别权重，loss值已经降到2左右了，亲自测试可以使用，正确率达到90%
机器学习之sklearn基础教程
wangbo_angel的博客
04-30 334
这个基础教程提供了一个简单的机器学习流程，从数据加载到模型预测的各个步骤。Scikit-learn库非常强大，提供了广泛的算法和工具，可以用于更复杂的数据分析和机器学习任务。通过实践和探索，你可以更深入地理解机器学习的各个方面，并解决更复杂的数据问题。Scikit-learn（简称sklearn）是一个功能强大的机器学习库，它提供了各种算法和工具，用于数据挖掘和数据分析。选择一个适合你问题的机器学习模型。# 假设 new_data 是一个新的数据点。11. 使用模型进行预测。6. 选择机器学习模型。
使用 scikit-learn 进行机器学习的基本原理-2
最新发布
qq_44204759的博客
04-30 416
监督学习：分类和回归 在监督学习中，我们有一个由特征和标签组成的数据集。 任务是构建一个估计器，能够在给定特征集的情况下预测对象的标签。 一个相对简单的例子是根据一组鸢尾花的测量值来预测鸢尾花的种类。 这是一个相对简单的任务。
机器学习进行情感分析（上）
欢迎来到 我今天ac了吗 的博客
04-27 1235
在机器学习情感分析中，关键的一步是特征提取。特征提取是将原始文本数据转化为机器学习算法能够理解和处理的数值表示。常用的特征提取方法包括词袋模型（Bag-of-Words）、TF-IDF（Term Frequency-Inverse Document Frequency）和词嵌入（Word Embedding）等。这些方法可以将文本转化为向量形式，保留了词汇的语义信息。
机器学习之scikit-learn基础教程
qq_43341279的博客
04-24 877
6. 交叉验证：交叉验证是一种评估模型性能的方法，它将数据集分成k个子集，轮流将其中一个子集作为验证集，其余子集作为训练集，重复训练和验证过程，最后取平均值作为模型的性能指标。本文作为scikit-learn基础教程，介绍了scikit-learn的安装与配置、核心概念、常用算法和模型、数据预处理、模型评估以及实战案例等。2. 模型：模型是机器学习算法的实现，它通过学习数据集的特征和目标变量之间的关系来进行预测。5. 测试：测试是最终评估模型性能的过程，使用独立的数据集作为测试集来评估模型的预测性能。
pytorch多分类时，nn.CrossEntropyLoss()函数用法
06-13
在PyTorch中进行多分类任务时，可以使用`nn.CrossEntropyLoss()`函数来计算损失。`nn.CrossEntropyLoss()`函数结合了`nn.LogSoftmax()`和`nn.NLLLoss()`两个函数，可以同时完成softmax操作和交叉熵损失的计算。以下是`nn.CrossEntropyLoss()`函数的用法： ```python import torch.nn as nn loss_fn = nn.CrossEntropyLoss() # 假设模型输出为output，标签为target loss = loss_fn(output, target) ``` 其中，`output`是模型的输出，形状为`(batch_size, num_classes)`，表示每个样本属于每个类别的概率分布；`target`是标签，形状为`(batch_size,)`，表示每个样本的真实标签。 在调用`nn.CrossEntropyLoss()`函数时，它会自动对模型的输出进行softmax操作，并且将标签转换为整数形式。因此，我们不需要手动进行这些操作。损失值`loss`为一个标量，表示模型在这个batch上的平均交叉熵损失。 在训练过程中，我们可以通过反向传播求导来更新模型参数，使得损失值逐渐降低，最终使模型达到最优状态。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值