PyTorch torch.optim.lr_scheduler 学习率 - LambdaLR;StepLR;MultiStepLR;ExponentialLR

PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类,分别是

  1. 有序调整:等间隔调整(Step),按需调整学习率(MultiStep),指数衰减调整(Exponential)和余弦退火CosineAnnealing。
  2. 自适应调整:自适应调整学习率 ReduceLROnPlateau。
  3. 自定义调整:自定义调整学习率 LambdaLR。
    引用: PyTorch学习之六个学习率调整策略

LambdaLR 自定义调整

torch.optim.lr_scheduler.ReduceLROnPlateau 能够根据自己的定义调节LR

torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)
参数含义
o p t i m i z e r optimizer optimizer优化器
l r — l a m b d a lr_—{lambda} lrlambda为optimizer.param_groups中的每个组计算一个乘法因子。
l a s t — e p o c h ( i n t ) last_—epoch (int) lastepoch(int)是从last_start开始后已经记录了多少个epoch, Default: -1.
 # Assuming optimizer has two groups.
 lambda1 = lambda epoch: epoch // 30
 lambda2 = lambda epoch: 0.95 ** epoch
 scheduler = LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
 for epoch in range(100):
     train(...)
     validate(...)
     scheduler.step()

StepLR - 有序调整

class torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

功能: 等间隔调整学习率,调整倍数为gamma倍,调整间隔为step_size。间隔单位是step。需要注意的是,step通常是指epoch,不要弄成iteration了。

参数:

参数含义
o p t i m i z e r optimizer optimizer优化器
s t e p − s i z e ( i n t ) step_-size(int) stepsize(int)学习率下降间隔数,若为30,则会在30、60、90…个step时,将学习率调整为lr*gamm
g a m m a ( f l o a t ) gamma(float) gamma(float)学习率调整倍数,默认为0.1倍,即下降10倍。
l a s t — e p o c h ( i n t ) last_—epoch (int) lastepoch(int)是从last_start开始后已经记录了多少个epoch, Default: -1.

官方使用方法

>>> # Assuming optimizer uses lr = 0.05 for all groups
>>> # lr = 0.05     if epoch < 30
>>> # lr = 0.005    if 30 <= epoch < 60
>>> # lr = 0.0005   if 60 <= epoch < 90
>>> # ...
>>> scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
>>> for epoch in range(100):
>>>     train(...)
>>>     validate(...)
>>>     scheduler.step()

学习率展示案例

import torch
import torch.optim as optim
from torch.optim import lr_scheduler
from torchvision.models import AlexNet
import matplotlib.pyplot as plt


model = AlexNet(num_classes=2)
optimizer = optim.SGD(params=model.parameters(), lr=0.01)

# lr_scheduler.StepLR()
# Assuming optimizer uses lr = 0.05 for all groups
# lr = 0.05     if epoch < 30
# lr = 0.005    if 30 <= epoch < 60
# lr = 0.0005   if 60 <= epoch < 90

scheduler = lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)
plt.figure()
x = list(range(100))
y = []
for epoch in range(100):
    scheduler.step()
    lr = scheduler.get_lr()
    print(epoch, scheduler.get_lr()[0])
    y.append(scheduler.get_lr()[0])
plt.xlabel("epoch")
plt.ylabel("learning rate")
plt.plot(x, y)

每30epoch进行一次刷新通过
在这里插入图片描述

MultiStepLR - 有序调整

StepLR的区别是,调节的epoch是自己定义,无须一定是【30, 60, 90】 这种等差数列;
请注意,这种衰减是由外部的设置来更改的。 当last_epoch=-1时,将初始LR设置为LR。

torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

你看就多了milestone
参数:

参数含义
o p t i m i z e r ( O p t i m i z e r ) optimizer(Optimizer) optimizer(Optimizer)优化器
m i l e s t o n e s ( l i s t ) milestones (list) milestoneslistlr改变时的epoch数目,一定是上升的,如【30,80】,就在第30个epoch进行改变,和在第80个epcho进行改变
g a m m a ( f l o a t ) gamma(float) gamma(float)学习率调整倍数,默认为0.1倍,即下降10倍。
l a s t — e p o c h ( i n t ) last_—epoch (int) lastepoch(int)是从last_start开始后已经记录了多少个epoch, Default: -1.

官方使用方法

>>> # Assuming optimizer uses lr = 0.05 for all groups
>>> # lr = 0.05     if epoch < 30
>>> # lr = 0.005    if 30 <= epoch < 80
>>> # lr = 0.0005   if epoch >= 80
>>> scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1)
>>> for epoch in range(100):
>>>     train(...)
>>>     validate(...)
>>>     scheduler.step()

学习率展示案例

model = AlexNet(num_classes=2)
optimizer = optim.SGD(params = model.parameters(), lr=0.01)

#在指定的epoch值,如[5,20,25,80]处对学习率进行衰减,lr = lr * gamma
scheduler = lr_scheduler.MultiStepLR(optimizer, milestones=[5,20,25,80], gamma=0.1)

plt.figure()
x = list(range(100))
y = []

for epoch in range(100):
    scheduler.step()
    lr = scheduler.get_lr()
    print(epoch, scheduler.get_lr()[0])
    y.append(scheduler.get_lr()[0])
plt.xlabel("epoch")
plt.ylabel("learning rate")
plt.plot(x,y)

在这里插入图片描述

ExponentialLR - 指数形式增长 - 有序调整

按次方的形式来减少;

torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)
参数含义
o p t i m i z e r ( O p t i m i z e r ) optimizer(Optimizer) optimizer(Optimizer)优化器
g a m m a ( f l o a t ) gamma(float) gamma(float)学习速率衰减的乘法因子。。
l a s t — e p o c h ( i n t ) last_—epoch (int) lastepoch(int)是从last_start开始后已经记录了多少个epoch, Default: -1.

官方使用方法

学习率展示案例

import torch
import torch.optim as optim
from torch.optim import lr_scheduler
from torchvision.models import AlexNet
import matplotlib.pyplot as plt
model = AlexNet(num_classes=2)
optimizer = optim.SGD(params = model.parameters(), lr=0.1)

#即每个epoch都衰减lr = lr * gamma,即进行指数衰减
scheduler = lr_scheduler.ExponentialLR(optimizer, gamma=0.1)

plt.figure()
x = list(range(10))
y = []

for epoch in range(10):
    scheduler.step()
    lr = scheduler.get_lr()
    print(epoch, scheduler.get_lr()[0])
    y.append(scheduler.get_lr()[0])
plt.xlabel("epoch")
plt.ylabel("learning rate")
plt.plot(x,y)

结果
在这里插入图片描述

  • 39
    点赞
  • 236
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
torch.optim.lr_scheduler.LambdaLRPyTorch中的学习率调度器。它允许我们通过自定义函数来调整优化器的学习率。具体来说,我们可以定义一个接受一个整数参数epoch并返回一个浮点数的函数,该函数的返回值将作为相应时期的学习率因子。也就是说,如果在第epoch个时期调用该函数,那么这个时期的学习率将被设置为当前学习率乘上lr_lambda(epoch)的返回值。我们可以通过传入优化器对象和lr_lambda函数来创建一个LambdaLR对象,然后在训练过程中使用scheduler.step()来更新学习率。\[2\] 举个例子,假设我们想每3个epoch将学习率减半,我们可以定义一个规则函数,如下所示: ```python import torch from torch import nn import math class Net(nn.Module): def __init__(self): super().__init__() self.conv = nn.Conv2d(in_channels=1, out_channels=1, kernel_size=2, stride=1, padding=0) def forward(self, x): out = self.conv(x) return out net = Net() def rule(epoch): lamda = math.pow(0.5, int(epoch / 3)) return lamda optimizer = torch.optim.SGD(\[{'params': net.parameters(), 'initial_lr': 0.1}\], lr=0.1) scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda=rule) for i in range(9): print("lr of epoch", i, "=>", scheduler.get_lr()) optimizer.step() scheduler.step() ``` 在这个例子中,我们定义了一个包含一个卷积层的神经网络模型Net,并定义了一个规则函数rule,该函数根据epoch的值返回一个学习率因子。然后,我们创建了一个SGD优化器对象optimizer和一个LambdaLR学习率调度器对象scheduler,并在每个epoch中使用optimizer.step()来更新模型参数,使用scheduler.step()来更新学习率。最后,我们打印出每个epoch的学习率。\[3\] #### 引用[.reference_title] - *1* *2* [【pytorchtorch.optim.lr_scheduler.LambdaLR() 学习率调整](https://blog.csdn.net/weixin_37804469/article/details/110939799)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Pytorch lr_scheduler.LambdaLR()的简单理解与用法](https://blog.csdn.net/qq_40714949/article/details/126287769)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值