[深度学习基础知识]优化器 optimizer 加速神经网络训练

最新推荐文章于 2024-03-13 20:56:34 发布
最新推荐文章于 2024-03-13 20:56:34 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： 深度学习基础 文章标签： 计算机视觉 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zlsd21/article/details/121435388
版权

本片内容引自莫烦Python

常用的优化器有

SGD
Momentum
AdaGrad
RMSProp
Adam

SGD

下图是不使用优化器情况下，所有的数据直接抛给卷积神经网络去计算，这样会带来巨大的运算量。
在这里插入图片描述
所以我们提出了SGD的方式，将DATA分成一批一批的数据喂入网络，加速了神经网络的训练。
在这里插入图片描述

Momentum

传统的学习方式，W减去学习率成一个校正值，这种方法如下图一样，曲曲折折最终才能到达最优点。
在这里插入图片描述
我们提出Momentum对传统的方式进行改变，使其能平滑的即更快速的到达最优点。
在这里插入图片描述

AdaGrad

其实AdaGrad 思想也是使其更平滑的到达最优点，但是中间思想是与Momentum不同的，AdaGrad改变的是dx，dx是我们校正值，我们在矫正值上除以根号v就是相当于给dx的变化增加了阻力，即给w的变化增加了阻力。通过增加阻力的方式使曲线变得更加平滑。对于Momentum，按原作者的话就是使将以前的方式比作在平地上的行走摇摇晃晃，这时我们将其放在斜坡上，按照惯性它就会平滑的下落。

在这里插入图片描述

RMSProp

RMSProp则是结合了Momentum与AdaGrad的思想
在这里插入图片描述
不过我们发现，最终的公式只利用了m的左半部分在这里插入图片描述
所以进一步优化 我们提出了Adam 充分利用m的所有部分

Adam

在这里插入图片描述

zlsd21
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
fastPTOptimizer:Panorama Tools / libpano13 的一个分支，带有一个快速的 PTOptimizer-开源
07-01
这是 Panorama Tools / libpano13-2.9.21 Mercurial 的一个分支。 PTOptimizer 是全景工具的一部分，这是一款出色的软件，用于对齐和拼接几张部分重叠的照片以获得更大的照片。 当您只有少量或中等数量的图像和控制点时，原始 PTOptimizer 会在相当短的时间内完成优化。 但是，如果您有大量图像（几个或超过一千个）和控制点，PTOptimizer 通常需要很多时间（最多几天）来优化参数。 fastPTOptimizer 减少了大型全景图的处理时间（可以实现 100 或更多的加速因子）。 这可以通过利用数学优化问题的稀疏性来实现。 最初的 PTOptimizer 使用了 minpack 软件中久经考验的 Levenberg Marquardt 优化器 lmdif。 fastPTOptimizer 使用使用 SuiteSparse 库的“稀疏”优化器 lmdif_sparse。
神经网络深度学习（三）优化器
china1000的专栏
09-03 3650
神经网络优化器详解
【Python】科研代码学习：十一 Optimization (Optimizer, Scheduler)
溢流眼泪的博客
03-13 1201
无需我们自己创建一个调度器，HF会按照输入的调度器名字，自动创建对应的调度器。相当于，我们通过这个类似枚举类，来指明我们使用的是哪种调度器。可以看一下，有线性的，余弦的，多项式的，常数的，带预热的等。按照这里的学习文章，说一下重要的内容，比如这个是带预热的余弦调度器。首先最重要的一个，是。
深度学习神经网络优化器总结
weixin_74825138的博客
04-15 819
此外，Adagrad算法还可以有效地处理稀疏数据，因为它可以对每个参数的历史梯度进行累加，从而更好地控制梯度的大小。这样可以使得梯度较大的参数的学习率较小，梯度较小的参数的学习率较大，从而更好地优化模型。在每次迭代中，Adam算法计算每个参数的梯度和历史梯度信息，并使用这些信息来更新每个参数的值。动量项可以帮助算法跳出局部最优解的原因是，它可以在梯度下降过程中增加模型参数更新的惯性，使得模型参数在更新时不仅仅受到当前梯度的影响，还受到之前梯度的影响。这样做的好处是可以减少梯度方向的变化，从而加速收敛过程。
【算法】深度学习神经网络都调哪些参数？
YaoYee_21的博客
08-03 1472
学习率，batchsize，优化器，激活函数，批归一化，损失函数，数据增强
深度学习——优化器（optimizer）
AI_dataloads的博客
09-21 3403
在深度学习中，优化器（optimizer）是一种用于调整神经网络模型参数以最小化损失函数的算法。优化器的目标是根据输入数据和期望的输出标签来调整模型的权重和偏置，使得模型能够更好地拟合训练数据并在未见过的数据上表现良好。
优化器 Optimizer 加速神经网络训练 (深度学习) Speed up neural network training process (deep learning)
08-30
优化器_Optimizer_加速神经网络训练_(深度学习)_Speed_up_neural_network_training_p
Tensorflow 13 优化器 optimizer (神经网络 教学教程tutorial)
08-31
Tensorflow_13_优化器_optimizer_(神经网络_教学教程tutorial)
3.6 Optimizer 优化器 (PyTorch tutorial 神经网络 教学)
08-31
#3.6_Optimizer_优化器_(PyTorch_tutorial_神经网络_教学)
野马优化器Wild Horse Optimizer Algorithm.zip
09-05
分享了野马优化器算法源代码及原文，亲测有效，更多算法可进入空间查看
机器学习04之各种优化器选择【代码及数据文件】
10-12
手把手入门机器学习中的神经网络与深度学习。包含了各种optimizer优化器的公式推导，原理及代码。将构建一个三层的神经网络来处理手写数字识别问题，之后将运用各种优化算法来加速梯度下降的过程，首先我们先来实现...
optimizer优化器详解
qq_45138078的博客
03-30 3097
优化器的选择对于模型的性能和收敛速度有很大影响，不同的优化器可能适用于不同的模型和数据集。因此，在训练模型时需要根据情况选择合适的优化器，并调整其超参数以达到最佳的效果。一旦你定义了你的优化器，你就在计算损失函数的梯度后调用其step()方法。它决定如何根据计算出的梯度和用户指定的超参数更新模型的权重。每个优化器都有自己的一组超参数，可以对其进行修改以控制学习率、动量、权重衰减和优化过程的其他方面。要使用优化器，您通常会创建优化器类的实例并将模型参数和所需的超参数传递给它。
机器学习：卷积神经网络
weixin_48293076的博客
11-19 1450
机器学习：卷积神经网络
深度学习基础之优化器（optimizer）的介绍
学习笔记
10-13 6913
神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。遗憾的是，神经网络的最优化问题非常难。这是因为参数空间非常复杂，无法轻易找到最优解（无法使用那种通过解数学式一下子就求得最小值的方法）。而且，在深度神经网络中，参数的数量非常庞大，导致最优化问题更加复杂。优化器的角色就是用来更新模型参数的方法，例如SGD、Adam等都能充当优化器的角色。首先我们先看这么一个函数：假设我们需要求解这个函数的最小值。
优化器 optimizer
be_humble的博客
09-02 1773
优化器 optimizer 学习率 scheduler
【pytorch】optimizer（优化器）的使用详解
学渣的博客
10-26 2万+
本文介绍包常见的 torch.optim 的使用方法和使用技巧。
优化器(Optimizer)（SGD、Momentum、AdaGrad、RMSProp、Adam）
热门推荐
tcn760的博客
04-05 5万+
文章目录3.1、传统梯度优化的不足(BGD,SGD,MBGD)3.1.1 一维梯度下降3.1.2 多维梯度下降3.2、动量(Momentum)3.3、AdaGrad算法3.4、RMSProp算法3.5、Adam算法 优化器在机器学习、深度学习中往往起着举足轻重的作用，同一个模型，因选择不同的优化器，性能有可能相差很大，甚至导致一些模型无法训练。所以了解各种优化器的基本原理非常重要。下面介绍各种常用优化器或算法的主要原理，及各自的优点或不足。 3.1、传统梯度优化的不足(BGD,SGD,MBGD) BGD、S
【pytorch系列】优化器optimizer的使用与常用优化器
magic_ll的博客
04-20 2483
【params_groups】该实例的类型为 list，可以将神经网络中需要更新的参数分组管理，list中每个元素为一组数据，包括：优化器中需要更新的参数，以及default中超参数在当前的对应数据。在第一次运行保存结果时的 optimizer，和第二次运行加载模型后的optimizer，可查看两次的优化器当中的 state_dict()的内容，这里不截图展示。打印两者的id，可以看到是完全一致的，说明optimize.param_groups中的参数存的是网络中参数的引用，这样操作也是为了节省内存。
【Pytorch学习笔记三】Pytorch神经网络包nn和优化器optm（一个简单的卷积神经网络模型的搭建）
QHCV的博客
08-15 505
nn构建于 Autograd之上，可用来定义和运行神经网络，但是原始的 Autograd 对于定义复杂的神经网络来说可能太底层了。本篇笔记主要记录使用pytorch中的神经网络包nn和优化器optm来搭建一个简单的神经网络。.........
优化器Optimizer
最新发布
03-24
优化器（Optimizer）是机器学习中的一个重要组件，用于调整模型的参数以最小化损失函数。它通过迭代的方式不断更新模型参数，使得模型在训练过程中逐渐收敛到最优解。 常见的优化器包括： 1. 梯度下降法（Gradient ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值