PyTorch torch.optim.lr_scheduler 学习率设置 调参-- CyclicLR

3 篇文章 2 订阅
2 篇文章 0 订阅

torch.optim.lr_scheduler 学习率设置 – CyclicLR

学习率的参数调整是深度学习中一个非常重要的一项,Andrew NG(吴恩达)认为一般如果想调参数,第一个一般就是学习率。

作者初步学习者,有错误直接提出,热烈欢迎,共同学习。(感谢Andrew ng的机器学习和深度学习的入门教程)

【来源: https://pytorch.org/docs/stable/optim.html】

基本内容

CyclicLR循环学习率

这个学习方式是《Cyclical Learning Rates for Training Neural Networks》2017论文中提出;

这篇论文是从学习率的角度来谈怎么训练深度网络的。

提出了一种新的学习率方法,叫cyclical learning rates,简称CLR。和从前的学习率不同,或者固定(fixed)或者单调递减,这是周期性变化。有三个参数,max_lr,base_lr, stepsize,即上下边界和步长。

论文中给出了三个参数的设定办法。方法取名为triangular;stepsize=(样本个数/batchsize)*(2~10)

先将max_lr设置为stepsize同样的值,base_lr为原架构的初始值,然后以此迭代5到10个epoch,画学习率与准确率之间的关系图,找最开始收敛的点和收敛后第一个下降的点,记录下来作为base_lr和max_lr的值。

并将CLR方法做了两个变异,分别是triangular2和exp range。

triangular2:同triangular非常相似,除了在每一迭代周期结束时,学习率差减小一半,即每个周期后学习率差异下降。
exp_range(指数范围):学习率在最大和最小边界内变化,每一个边界值通过一个指数因子下降。
【引用: https://blog.csdn.net/guojingjuan/article/details/53200776】

在这里插入图片描述
哇塞,用三种方法对比,怎么感觉有点厉害啊!
方法一(蓝色 original learning rate):学习率不变
方法二(绿色 exponential): 指数衰减;例如【0.1, 0.001, 0.0001】
方法二(红色 cyclical learning rates):虽然曲折,但是收敛很快,而且准确率也高。

我要用自己的数据集试一试了,两天后再添加结果:
在这里插入图片描述

其余注意事项:
在这里插入图片描述
上图是对两个优化器,以及加不加CLR进行对比
方法一(蓝色 Nesterov+CLR)
方法二(绿色 Adam)
方法二(红色 Adam+CLR)
这里蓝色最好啊,推荐Nesterov Momentum+CLR?默默地改了自己的优化器。

作者论文中的参数设置
在这里插入图片描述
在这里插入图片描述
有BN的CLR更好,嗯哼!!

使用案例 torch

#设置优化器
optimizer = torch.optim.SGD(model.parameters(), lr=opt.lr, momentum=0.9)

base_lr = 1e-4
max_lr =  5e-4


#设置 学习率调节方法
scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr, max_lr, step_size_up=500, step_size_down=500, mode='triangular', gamma=1.0, scale_fn=None, scale_mode='cycle', cycle_momentum=True, base_momentum=0.8, max_momentum=0.9, last_epoch=-1)

for epoch in range( opt.num_epochs ):
	train(...)
	validate(...)
	scheduler.step()
项目Value
base_lr基础学习率
max_lr学习率的上限
step_size_up学习率上升的步数
step_size_down学习率下降的步数
mode三种模式:triangular,triangular2和exp_range,和之前的几个参数交互所用,如果scale_fn不是None则忽略
gammaexp_range中的常量gamma**(cycle iterations)
scale_fn自定义的缩放策略保证所有x>=0的情况下scale_fn(x)的值域是[0,1]
scale_mode:两种模式cycle和iterations决定scale_fn函数以何种方式作用
cycle_momentum如果为True,则动量与’base_momentum’和’max_momentum之间的学习率成反比
base_momentum初始动量,即每个参数组的循环中的下边界。
max_momentum每个参数组的循环中的上动量边界。 在功能上,它定义了循环幅度(max_momentum - base_momentum)。 任何周期的动量都是max_momentum和幅度的一些比例的差异; 因此,实际上可能无法达到base_momentum,具体取决于缩放功能。

原文链接:https://blog.csdn.net/GrayOnDream/article/details/98518970

相关内容

该论文作者是Leslie N. Smith;实验室:U.S. Naval Research Laboratory (https://www.nrl.navy.mil/ , 可以翻墙的可以去看看,我腿短,翻不过去 /(ㄒoㄒ)/~~)

在这里插入图片描述

作者PHD(1976 – 1979):University of Illinois at Urbana-Champaign;传说中的博士后? Post DoctoralQuantum Chemistry(1979 – 1980): Princeton University;看起来有一定’历史’地位了。_ linkin的链接甩给你们: https://www.linkedin.com/in/drlesliensmith

美国海军研究实验室(NRL)是美国海军和美国海军陆战队的企业研究实验室,从事基础科学研究,应用研究,技术开发和原型制作。 实验室的专业包括等离子体物理,空间物理,材料科学和战术电子战。(传说中的国企??厉害,厉害)

ERROR

这么设置对吗?额(⊙o⊙)…,等我看看结果再更新!

    base_lr = 1e-6
    max_lr =  4e-4
    scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr, max_lr, step_size_up=30, step_size_down=30, mode='triangular', gamma=1.0, scale_fn=None, scale_mode='cycle', cycle_momentum=True, base_momentum=0.8, max_momentum=0.9, last_epoch=-1)
ValueError: optimizer must support momentum with `cycle_momentum` option enabled

这里的优化器是adam, 所以cycle_momentum=True, 改为 cycle_momentum=False

scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr, max_lr, step_size_up=30, step_size_down=30, mode='triangular', gamma=1.0, scale_fn=None, scale_mode='cycle', cycle_momentum=True, base_momentum=0.8, max_momentum=0.9, last_epoch=-1)
  • 10
    点赞
  • 42
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值