控制dropout_ratio递增(0.1 -> 0.9)，其他参数不变

最新推荐文章于 2023-07-08 15:23:22 发布
最新推荐文章于 2023-07-08 15:23:22 发布
阅读量2.9k 收藏 4
点赞数 3
分类专栏： 深度学习(基于Caffe) 文章标签： dropout_ratio递增
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zlf19910726/article/details/78691692
版权

dropout_ratio越大舍弃的信息越多，loss下降的越慢，准确率增加的越慢

有时候 dropout_ratio 过大， 两次运行的结果还不同， 对比dropout_ratio: 0.9时候的两张截图中的loss。

第一张中loss在2左右，没问题；

第二张种loss在87左右，明显不对；

这时候要调小dropout_ratio ；

一般的dropout_ratio 绝对不能超过0.7, 最佳的是在0.5以下


dropout_ratio: 0.1




dropout_ratio: 0.2




dropout_ratio: 0.3




dropout_ratio: 0.4




dropout_ratio: 0.5





dropout_ratio: 0.6





dropout_ratio: 0.7





dropout_ratio: 0.8





dropout_ratio: 0.9













吃我老猪一钉耙
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
深度学习笔记：dropout和调优超参数方法
Raine_Yang的博客
03-05 2165
在正向传播中，如果train_flg为True（神经网络在训练状态），会生成一个和输入x形状相同的boolean矩阵mask，mask为False的位置（即被删除的神经元）在正向传播和反向传播的结果都为0。dropout删除神经元的操作类似于在每一轮训练一个略有不同的神经网络，最后将每一个网络的结果在预测阶段叠加，实现利用一个神经网络模拟集成学习。根据第一轮测试结果，我们将学习率范围缩小到10e-4至10e-3，将权值衰减率范围缩小到10e-8至10e-6，开始第二轮实验。
Dropout动态图
10-29
利用动态图更好的理解Dropout动态图
李沐动手学深度学习V2-Dropout丢弃法笔记以及代码实现
flyingluohaipeng的博客
04-12 1770
李沐动手学深度学习V2-Dropout丢弃法笔记以及代码实现
Dropout和正则项
mr_hua
06-09 698
注意以下字母皆代表矩阵 前行传播 rlj∼Bernouli(p)rjl∼Bernouli(p) r_j^l \sim Bernouli(p) ŷ l=rl⨀al−1,al−1为第l−1层输出y^l=rl⨀al−1,al−1为第l−1层输出 \hat{y}^l=r^l \bigodot a^{l-1}, a^{l-1}为第l-1层输出 al=wlŷ&amp
训练神经网络失败的原因（下）
baidu_38401528的博客
05-16 6161
上半部分 原文链接 4. 没有正则化 正则化典型的就是dropout、加噪声等。即使数据量很大或者你觉得网络不可能出现过拟合，但是对网络进行正则化还是很有必要的 dropout 通常从设定参数为0.75或0.9开始，根据你认为网络出现过拟合的可能性来调整这个参数。另外，如果你确定这个网络不会出现过拟合，那么可以将参数设定为0.99。 正则化不仅仅可以防止过拟合，并且在这个随机过程中，...
神经网络中的Dropout rate
weixin_45092290的博客
04-16 2083
神经网络中的Dropout rate
模型过拟合-----＞dropout : 调整
最新发布
weixin_63016274的博客
07-08 2771
一种常见的做法是尝试不同的 dropout rate，通过交叉验证或验证集的表现来选择最合适的 dropout rate。另外，还应该注意不要将 dropout rate 设置得过高，过高的 dropout rate 可能会导致信息丢失过多，模型的训练效果下降。：如果模型非常复杂，例如层数很多或者节点数很大，容易过拟合，可以选择较高的 dropout rate，如 0.5 或更高。：对于较小的数据集，模型容易过拟合，建议设置较小的 dropout rate，通常在 0.1 到 0.3 之间。
【深度学习】Dropout
littlemichelle
04-10 301
Dropout是通过修改神经网络本身来解决过拟合问题。 为什么dropout对于过拟合有效果？ dropout的训练过程，相当于训练了很多个只有半数隐层单元的神经网络（后面简称为“半数网络”），每一个这样的半数网络，都可以给出一个分类结果，这些结果有的是正确的，有的是错误的。随着训练的进行，大部分半数网络都可以给出正确的分类结果，那么少数的错误分类结果就不会对最终结果造成大的影响。 Hintion的直观解释和理由如下： 　　1. 由于每次用输入网络的样本进行权值更新时，隐含节点都是以一定概率随机出.
系列解读Dropout
热门推荐
elaine_bao的专栏
03-14 1万+
本文主要介绍Dropout及延伸下来的一些方法，以便更深入的理解。 想要提高CNN的表达或分类能力，最直接的方法就是采用更深的网络和更多的神经元，即deeper and wider。但是，复杂的网络也意味着更加容易过拟合。于是就有了Dropout，大部分实验表明其具有一定的防止过拟合的能力。 1- Dropout 最早的Dropout可以看Hinton的这篇文章  《Impro
dropout大复盘
年轻即出发，
09-09 463
不积跬步，无以至千里；不积小流，无以成江海。 ----荀子《劝学》 Dropout发展史： 标准dropout： 从数学上来说，神经网络层训练过程中使用的标准 Dropout 的行为可以被写作： 其中 f（·）为激活函数，x 是该层的输入，W 是该层的权值矩阵，y为该层的输出，而 m...
2014_TVLSI_Low-Dropout Regulator_chancebab_LOW_CMOS_
10-01
Low-Dropout Regulator design
dropout_and_minibatch.rar_BP softmax_dropout_dropout softmax_dro
07-15
基于两层BP神经网络，加入dropout和softmax，输出层使用softmax，实现对手写字符库MNIST的识别，正确率达90%。
CNN中的dropout理解 - Dod_Jdi的博客 - CSDN博客1
08-03
在下读到两篇代表性的论文，代表两种不同的观点，特此分享给组合派参考文献中第一篇中的观点，Hinton老大爷提出来的，关于Hinton在深度学习界的地位我就不再赘
delta.rar_dropout_dropout matlab_hspice_hspice matlab_matlab dro
07-14
hspice model of a low-dropout regulator
ABCs2018_paper_156_rcnn-master_
09-30
In this paper a CNN with two convolutional layers followed by a dropout then two fully connected layers is equipped with a feature selection algorithm. Accuracy rate of the networks with different ...
NLP_task5: 神经网络基本概念、激活函数、防止过拟合的方法、参数优化
Someone&的博客
03-11 2745
1 神经网络相关的基本概念 前馈神经网络：是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。 网络层数、输入层、隐藏层、输出层、隐藏单元：下面以图为例，介绍这些名词的含义 网络层数：一般是指设置或者搭建的模型有多少层。以上图为例，网络层为3。 输入层：一般指数据输入模型的一层，如图。 输出层：一般指模型的最后...
【深度学习】5-4 与学习相关的技巧 - 正则化解决过拟合（权值衰减，Dropout）
loyd3的博客
06-21 1225
过拟合指的是只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。像这样，通过使Dropout，即便是表现力强的网络，也可以抑制过拟合。虽然训练数据的识别精度和测试数据的识别精度之间有差距，但是与没有使用权值衰减的结果相比，差距变小了。训练时，每传递一次数据，就会随机选择要删除的神经元然后，测试时，虽然会传递所有的神经元信号，但是。因此，在求权重梯度的计算中，要为之前的误差反向传播法的结果加上正则化项的导数。并且，推理时，通过对神经元的输出乘以删除比例(比如，0.5等)，可以取得。
dropout_probability = 0.1
06-08
这段代码是给变量dropout_probability赋值为0.1。具体来说，这个变量可能是用来定义模型中的dropout层的概率值。在深度学习中，dropout是一种常用的正则化方法，用于减少模型的过拟合现象。它通过在训练过程中随机丢弃一部分神经元的输出，以防止模型训练时过于依赖某些特定的输入。dropout的概率值通常在0.1到0.5之间，表示每个神经元被保留下来的概率为1-dropout_probability。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值