tenorflow accuracy一直不变，loss一直降低的问题

最新推荐文章于 2024-06-19 15:31:46 发布
最新推荐文章于 2024-06-19 15:31:46 发布
阅读量1.2w 收藏 5
点赞数 4
文章标签： tensorflow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhicheng_angle/article/details/88868093
版权

网络训练时，正确率会一直出现概率等分的情况，使网络无法学习到。

forward = t0f.matmul(Y4, W5)+b5

 

pred = tf.nn.softmax(forward) #softmax

 


#损失函数为交叉熵, log(0) 附近会造成不稳定

loss_function = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=forward, labels=y))

建议在损失函数的定义时，先不采用softmax的回归结果

zhicheng_gogogo
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
Tensorflow 中网络准确度不变，权重初始化NaN问题
sinat_16823063的博客
12-16 1万+
最近刚刚接触深度学习，由于项目涉及到一些移动端开发的问题，也听了一些朋友的建议，最后决定选择tensorflow作为研究深度学习的平台。这两天照着tflearn官网的VGGNet的demo，用tensorflow实现了VGGNet，然而在用17flowers训练集进行训练的时候，发现不管迭代多少次，准确率和loss函数始终维持在相对不变的值，也就是网络不收敛。一开始很懵逼，毕竟是照着官网的demo
keras GAN训练是loss不发生变化,accuracy一直为0.5怎么办
hemancute的博客
09-14 4666
给大家分享一下keras GAN训练是loss不发生变化,accuracy一直为0.5怎么办，希望大家阅读完这篇文章后大所收获，下面让我们一起去探讨方法吧！ 首先谈谈我的是如何解决的： 网络结构：AlexNet 优化器：Adam （这里正是问题所在） 框架：PyTorch 关于优化器，我最开始使用的的是torch.optim.Adam()，但是训练100个Epoch后，准确率始终在 49% ~ 50%。 解决方法：换个优化器！我使用的是torch.optim.SGD()，其他的或许也行，但我...
解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题
09-16
主要介绍了解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
loss下降到一定程度就基本没有变化，accuracy一直是在震荡
weixin_42678562的博客
09-27 1万+
loss已经很低了，但是accuraacy也是很低。
【机器学习】模型训练loss损失值正常下降，但是acc准确率精度却为零0
最新发布
qq_33700934的博客
06-19 853
如果模型在训练时使用了不同的标签集，或者预测时标签的处理方式与训练时不一致，那么精度可能会受到影响。2.类别不平衡：如果数据集中某些类别的样本数量远远多于其他类别，而模型又没有得到适当的处理（例如使用权重调整、重采样等），那么模型可能会偏向于预测数量最多的类别，导致其他类别的精度很低甚至为0。例如，在分类任务中，你可能需要确保你的代码正确地计算了精度（即正确分类的样本数除以总样本数）。1.模型性能差：模型可能还没有学习到任何有用的特征或模式，导致它的预测几乎总是错误的。
训练Cifar10网络时，遇到训练结果始终Accuracy不变，Loss=87.33的情况
jbddygb的博客
11-27 4820
网上搜索结果有建议如下，尚未验证 1、观察数据中是否有异常样本或异常label导致数据读取异常 2、调小初始化权重，以便使softmax输入的feature尽可能变小 3、降低学习率，这样就能减小权重参数的波动范围，从而减小权重变大的可能性。这条也是网上出现较多的方法。 4、如果有BN（batch normalization）层，finetune时最好不要冻结BN的参数，否则数据
神经网络准确率提高不上去_第一次胜过MobileNet的二值神经网络，-1与+1的三年艰苦跋涉...
weixin_39640573的博客
11-21 445
近日，苹果以 2 亿美元左右价格收购初创公司 Xnor.ai 的消息引起了社区极大的关注。作为一家以二值神经网络 Xnor-net 起家的人工智能初创公司，Xnor.ai 被苹果高价收购，也许预示着低功耗、高效能的二值神经网络技术将开启广阔的应用前景。机器之心原创，作者：思。二值网络是非常极致的一种神经网络，它的权重、激活值只有+1 与-1 两种状态。那么这么极简的神经网络到底能干什么，它的优势与...
caffe 绘制训练集和测试集的loss和accuracy对比曲线
04-20
利用Caffe提供的脚本程序和Caffe训练日志画loss曲线与accuracy曲线。加强版，可以绘制对比曲线。辛辛苦苦修改作成的代码，大家还是给点儿资源分做鼓励吧，如果实在需要又没有资源分，请根据博客留下的联系方式联系我...
训练集验证集Loss都很低，并且趋于不变，同时两者精确度也不高
qq_37700539的博客
08-04 8172
网络输出垃圾，没有学习到任何东西Loss和accuracy都不改变，并且很低查看数据集标签与数据是否对应查看验证集和测试集是否进行数据预处理，包括归一化均值化查看loss损失函数是否选择正确，是否与标签格式相对应查看最后的分类器是否激活函数选择正确，sigmoid和softmax区别 Loss和accuracy都不改变，并且很低 这说明搭建的网络没有学习到任何东西，是网络搭建有问题，并不是过拟合或者欠拟合。分析： 查看数据集标签与数据是否对应 有时候在打乱数据集时，标签没有跟上，导致数据和标签不对应，这样网
tensorflow 训练 MNIST 数字标签准确率只有0.098的解决办法
weixin_41718413的博客
09-23 1448
http://tensorfly.cn/tfdoc/tutorials/mnist_beginners.html 按照教程中代码梯度为0.01 原始：train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy) 结果：print(sess.run(accuracy, feed_dict={x: ...
tensorflow踩坑-训练正确率上不去，一直是0.2，上升的慢
蒋程扬的部落格
07-28 4954
在进行验证码识别的时候，我的验证码大小为80*30，但是在预处理的时候： 我进行Reshape： image_resize = tf.image.resize_images(img, [80, 30]) 但是 这样reshape是不行的，shape填的是[高，宽]， 应该是： image_resize = tf.image.resize_images(img, [30, 80])...
常见损失下降，精度不升问题
热门推荐
weixin_46702712的博客
11-12 1万+
损失函数一直在下降，为什么识别率上不去。 1.最常见的原因：过拟合 过拟合值得单独开个章节。主要包括 1.数据量小，网络复杂 2.learning rate 比较高，又没有设置任何防止过拟合的机制 解决方法主要包括 1.简化模型，利用现有深度学习手段增加数据（翻转，平移，随机裁剪，imgaug） 2.利用 dropout...
预测概率一直不变/损失和精确度一直不变
qq_42946961的博客
03-01 1560
这个问题困扰了好久，今天2022-03-01找到了解决办法，原理未懂 参考链接：https://blog.csdn.net/weixin_39614561/article/details/110763018 原文标题：python神经网络模型调用后预测值不变_Keras构建神经网络踩坑(解决model.predict预测值全为0.0的问题)... 原文内容： 终于构建出了第一个神经网络，Keras真的很方便。 之前不知道Keras这么方便，在构建神经网络的过程中绕了很多弯路，最开始学的Tensor
训练集loss下降，准确率高，测试集loss不变，准确率不变。
m0_69155065的博客
10-15 692
测试集loss不变，准确率不变。以上情况在某种程度上相当于模型不学习了，(只有一组参数，学习完不在学习)epoch，在训练集得到的参数，应用到测试集上。不能等训练集结束再将参数应用到测试集上。在对数据集进行训练时，权重等参数得到更新，应该保证对。
loss波动变化，准确率变化也不大
qq_44644355的博客
11-03 4890
最近在做多分类，然后训练的时候发现loss在慢慢下降（越到后面越慢），但是准确率却一直在一个区间内上下波动 解决方法：把学习率调小一点，例如0.0001 为什么这样子可以解决？ 答：在学习梯度下降的时候，要使得目标函数最小，则我们需要寻找最优的参数theta， theta的更新方式为： theta = theta - a*梯度（其中a是学习率） 当学习率比较大的时候，可能就会出现如图的情况 （横坐标是theta，纵坐标是loss,画图时忘了） 起始点为A，因为学习率比较大，所以更新参数theta后，los
tensorflow2 当精准率accuracy一直浮动变化不大时的解决方案
weixin_42670810的博客
07-01 1781
解决方案 调整batch_size大小。如果数据集少，则相对减少batch_size，其实是变相增加训练次数。 模型中增加层。这是参数拟合上的效果，不管三七二十一，先过拟合再说。 更换优化器。有时候adam模式一直不变，切换成RMSprop反而有奇效 调整学习率。如果学习率过小会导致收敛太慢，accuracy上不去，适当增加一些。 加大epochs。在前面方法都用尽的情况下，增加训练轮数往往能够实现逆转。 ...
解决loss值不下降问题（转）
weixin_34208283的博客
05-18 4737
https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/ 1.模型结构和特征工程存在问题 2.权重初始化方案有问题 3.正则化过度 4.选择合适的激活函数、损失函数 5.选择合适的优化器和学习速率 6.训练时间不足 7.模型训练遇到瓶颈 8...
训练过程中常见问题总结
laolu1573的专栏
10-27 5571
问题1：Loss下降，但accuracy(或auc)不升。 解答：正常，Loss和acc计算方式不同，是两个完全不同的东西。acc只关心预测正确，而不关心正确的程度（比如预测狗和猫，不论模型预测是猫的概率是51%还是99%，对acc来说是一样的）。但是loss函数(如cross_entropy_loss)考虑了预测的正确程度。所以会出现预测正确的数量不变，但是正确的置信度越来越高了。 问题2：Lo...
神经网络训练准确率不变,神经网络训练误差大
神经网络爱好者
10-04 2843
应该有三条曲线显示才对，分别代表训练，验证，测试误差，你现在只有训练误差的。正常 模型的准确度取决于你的样本质量和数量 样本最好能涵盖所有因子的取值范围，比如说样本中因子A取值在0-100之间，如果测试数据因子A取值为200，就可能造成模型预测偏差太大。BP神经网络matlab训练偶尔会有一次误差较大的是比较正常的，因为训练是有随机性，所以每次的结果并不完全一样的。误差是永远都有的，上面只是精度问题才看不到了，一般bp需要设置一个全局误差阈值，小于这个阈值时，才算训练可以了。mse均方误差为一个数。
loss accuracy validation loss validation accuracy公式
04-17
loss（损失是用来衡量模型预测结果真实标签之间的差异程度的指标。常见的损失函数有均方误差（Mean Squared Error）、交叉熵（Cross Entropy）等。 accuracy（准确率）是用来衡量模型在预测时的正确率的指标。它表示模型预测正确的样本数占总样本数的比例。 validation loss（验证损失）是在模型训练过程中，使用验证集数据计算得到的损失值。它用于评估模型在未见过的数据上的性能。 validation accuracy（验证准确率）是在模型训练过程中，使用验证集数据计算得到的准确率。它用于评估模型在未见过的数据上的性能。 以下是这些指标的公式： 1. Loss（损失）公式：根据具体的损失函数而定，例如均方误差的公式为：Loss = (1/n) * Σ(y_pred - y_true)^2，其中y_pred为模型预测值，y_true为真实标签，n为样本数量。 2. Accuracy（准确率）公式：Accuracy = (正确预测的样本数) / (总样本数)。 3. Validation Loss（验证损失）和Validation Accuracy（验证准确率）的计算与Loss和Accuracy类似，只是使用验证集数据进行计算。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值