pytorch 自定义损失函数、优化器（Optimizer）和学习率策略（Scheduler）

已于 2024-10-21 14:03:12 修改
阅读量8.1k 收藏 109
点赞数 41
分类专栏： 收费专栏 文章标签： pytorch 学习
于 2022-07-14 22:35:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/125759911
版权

免费链接： Blogger(需翻Q)

文章目录

本节内容

  1. 梯度下降回顾
  2. 理解Pytorch模型定义、前向传播、反向传播、更新梯度的过程
  3. 学会并理解自定义损失函数
  4. 学会并理解优化器的作用和使用
  5. 学会并理解自定义学习策略的多种方法

梯度下降回顾

我们首先来简单的回顾一下梯度下降，我们使用一个很简单的例子来说明。

假设我们要进行一元线性回归，即我们想求 y = θ x + b y = \theta x +b

了解本专栏 订阅专栏 解锁全文 超级会员免费看
iioSnail
关注
专栏目录
订阅专栏
Pytorch自定义优化器Optimizer简单总结(附AdamW代码分析)
Marcus-Bao的个人主页
03-26 6140
写在前面 虽然pytorch,tensorflow等主流框架已经为我们内置了很多已经被广泛使用的优化算法，比如SGD，Adam，Adagrad等等，但是有的时候往往需要对优化器做一定的改动，才能使我们的模型收敛到最优解；或者说我们就是对SGD系列算法展开研究，发现了其中的问题并且提出了一个更好的优化器，如何把他封装到pytorch或者tensorflow里呢？让其可以简单的使用。 本文就针对pytorch重载Optimizer进行简单的讲解，接下来的几篇还会逐步讲解，如何自己写cuda，如何自己定制back
pytorch实现查看当前学习率
12-17
- `LambdaLR`：允许用户自定义学习率衰减函数。 对于选择性地学习模型的不同部分，可以通过修改参数的`requires_grad`属性。如果一个参数的`requires_grad`设置为`False`，那么在反向传播过程中，这个参数的梯度将...
pytorch scheduler汇总
曾小辉的博客
08-17 8087
ExpLR指数衰减 学习率按照指数的形式衰减是比较常用的策略， 我们首先需要确定需要针对哪个优化器执行学习率动态调整策略， 其中参数gamma表示衰减的底数，选择不同的gamma值可以获得幅度不同的衰减曲线 code optimizer_ExpLR = torch.optim.SGD(net.parameters(), lr=0.1) ExpLR = torch.optim.lr_scheduler.ExponentialLR(optimizer_ExpLR, gamma=0.98) StepLR
PyTorch源码系列（一）——Optimizer源码详解
最新发布
⚡
09-27 1055
以SGD为例，我们来实现一个只有学习率的极简版优化器。继承Optimizer，声明构造函数，构造函数的形参必须含有params，随后的一系列形参都是和该优化器相关的超参数。在构造函数中将相关超参数打包成defaults，然后调用父类的构造函数。重写step方法，并用装饰。在step中遍历，每一次遍历，声明paramsgrads列表，然后用group的数据进行填充。如果涉及到临时状态，还需要额外声明和临时状态相关的列表。grads = []
Pytorch中几种调整学习率scheduler机制(策略)的用法即其可视化
对方正在输入中...
05-11 5101
申明此篇博文是以AlexNet为网络架构(其需要输入的图像大小为227x227x3)，CIFAR10为数据集，SGD为梯度下降函数举例。 运行此程序时，文件的结构： /content/drive/MyDrive/coder/Simple-CV-Pytorch-master | | | |----AlexNet----train.py(train_adjust_learning_rate.py，train_MultiStepLR.py等等) | | | |----tensorboard(保存tensor
PyTorch Scheduler动态调整学习率
自己在学习过程中的总结
04-15 983
深度学习中长久以来一直存在一个令人困扰的问题，那就是如何选择适当的学习率。如果学习速率设置得过小，会导致模型收敛速度缓慢，训练时间延长；而如果学习率设置得太大，可能会导致参数在最优解附近来回波动。然而，即使我们选定了一个合适的学习率，在经过多轮训练后，仍可能出现准确率的震荡或损失不再下降等情况，这表明当前的学习率已经不能满足模型调优的需求。在这种情况下，我们可以采用适当的学习率衰减策略来改善模型的性能，从而提高精度。这种策略在PyTorch中被称为调度器（scheduler）。
【深度学习】一文详解Pytorch中的优化器Optimizer
fengdu78的博客
04-30 1万+
1. 前言优化器主要用在模型训练阶段，用于更新模型中可学习的参数。torch.optim[1]提供了多种优化器接口，比如Adam、RAdam、SGD、ASGD、LBFGS等，Optimizer是所有这些优化器的父类。2. Optimizer行为解析2.1 公共方法Optimizer是所有优化器的父类，它主要具有以下几类公共方法：方法名官方注解说明add_param_gro...
pytorch-scheduler（调度器）
始于足下
07-26 1277
scheduler（调度器）是一种用于调整优化算法中学习率的机制。学习率是控制模型参数更新幅度的关键超参数，而调度器根据预定的策略在训练过程中动态地调整学习率。优化器负责根据损失函数的梯度更新模型的参数，而调度器则负责调整优化过程中使用的特定参数，通常是学习率。调度器通过调整学习率帮助优化器更有效地搜索参数空间，避免陷入局部最小值，并加快收敛速度。调度器允许实现复杂的训练策略，学习率预热、周期性调整或突然降低学习率，这些策略对于优化器的性能至关重要。学习率绘图函数。
PyTorch学习笔记（四）调整学习率
12-21
在`torch.optim.lr_scheduler`模块中，PyTorch提供了多种学习率调度策略，以帮助优化器在训练过程中适当地降低或调整学习率。以下是几种常用的学习率调度器的详解： 1. **StepLR**： StepLR 是一种简单但有效的...
pytorch绘制并显示loss曲线和acc曲线，LeNet5识别图像准确率
12-23
通过分析这些曲线，我们可以了解模型在训练过程中的表现，如是否过拟合或欠拟合，以及调整超参数如学习率(lr_scheduler)的可能效果。同时，对比训练集和验证集的性能可以帮助我们判断模型的泛化能力。 总之，利用...
PyTorch的Optimizer训练工具的实现
09-18
总结来说，PyTorch Optimizer是进行深度学习模型训练不可或缺的工具，它通过多种优化算法和学习率调整策略，使得模型训练更加高效、稳定。通过实例学习和代码实践，可以帮助研究人员和工程师更好地掌握深度学习模型...
【pytorch】optimizer（优化器）的使用详解
热门推荐
学渣的博客
10-26 2万+
本文介绍包常见的 torch.optim 的使用方法和使用技巧。
pytorch笔记：调整学习率（torch.optim.lr_scheduler）
qq_40206371的博客
08-25 1万+
1 概述 torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（learning rate）的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。 2lr_scheduler调整策略举例 2.1torch.optim.lr_scheduler.LambdaLR torch.optim.lr_scheduler.LambdaLR( optimizer, lr_lambda, last_ep...
Pytorch中的学习率衰减方法
weixin_40500230的博客
07-13 2701
原文：https://www.jianshu.com/p/9643cba47655 Pytorch 中的学习率调整方法 Pytorch中的学习率调整有两种方式： 直接修改optimizer中的lr参数； 利用lr_scheduler()提供的几种衰减函数 1. 修改optimizer中的lr： import torch import matplotlib.pyplot as pl...
pytorch优化器详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-10 4026
在PyTorch中，优化器（Optimizer）是用于更新神经网络参数的工具。它根据计算得到的损失函数的梯度来调整模型的参数，以最小化损失函数并改善模型的性能。即优化器是一种特定的机器学习算法，通常用于在训练深度学习模型时调整权重和偏差。是用于更新神经网络参数以最小化某个损失函数的方法。它通过不断更新模型的参数来实现这一目的。优化器通常用于深度学习模型，因为这些模型通常具有大量可训练参数，并且需要大量数据和计算来优化。优化器通过不断更新模型的参数来拟合训练数据，从而使模型在新数据上表现良好。
Pytorch 自用 Scheduler 分享
小嗷犬的博客
02-24 737
本文介绍了 Warm-up + CosineAnnealingLR、Warm-up + ExponentialLR 和 Warm-up + StepLR 三种学习率调度器，并给出了使用模板。
Pytorch优化器Optimizer
一位在路上的工程师的博客
03-09 2318
pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签
Pytorch 自定义LRScheduler
Lino呀
11-23 4576
Pytorch 自定义 PolyScheduler 文章目录Pytorch 自定义 PolyScheduler写在前面一、PolyScheduler代码用法二、PolyScheduler源码三、如何在Pytorch中自定义学习率优化策略总结 写在前面 最近有个自定义学习率优化策略的需求，但是网上搜索到的大部分都是Pytorch内部的LambdaLR.，虽然简单易用，但是无法满足需求。所以就研究了下Pytorch的源码，仿照源码写了一个PolyScheduler。有两个版本，一个版本是变化检测开源库中的版
pytorch学习（六）——优化器
ifhuke的博客
10-28 1957
pytorch 中的优化器简要介绍
pytorch自定义损失学习率
05-26
PyTorch中可以通过自定义损失函数和学习率调整策略来优化模型的训练效果。 自定义损失函数： 在PyTorch中，可以通过继承`nn.Module`类，自定义损失函数。下面是一个例子： ```python import torch.nn as nn class CustomLoss(nn.Module): def __init__(self): super().__init__() def forward(self, inputs, targets): loss = ... # 计算自定义损失函数 return loss ``` 在自定义损失函数中，需要实现`forward`方法，接受模型的输出与标签作为输入，并返回损失值。 学习率调整策略： PyTorch中提供了多种学习率调整策略，包括学习率衰减、学习率重启、余弦退火等。可以通过继承`torch.optim.lr_scheduler._LRScheduler`类，自定义学习率调整策略。下面是一个例子： ```python import torch.optim.lr_scheduler as lr_scheduler class CustomScheduler(lr_scheduler._LRScheduler): def __init__(self, optimizer, last_epoch=-1): super().__init__(optimizer, last_epoch) def get_lr(self): lr = ... # 计算自定义学习率调整策略 return [lr for _ in self.optimizer.param_groups] ``` 在自定义学习率调整策略中，需要实现`get_lr`方法，返回一个列表，其中每个元素是一个浮点数，代表每个参数组的学习率。 在训练过程中，可以将自定义损失函数和学习率调整策略传递给优化器，例如： ```python import torch.optim as optim model = ... criterion = CustomLoss() optimizer = optim.Adam(model.parameters(), lr=1e-3) scheduler = CustomScheduler(optimizer) for epoch in range(num_epochs): for batch in data_loader: inputs, targets = batch outputs = model(inputs) loss = criterion(outputs, targets) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step() ``` 在每个epoch结束时，调用`scheduler.step()`方法来更新学习率。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值