【学习笔记】关于volatile和0.4.0版本后的torch.set_grad_enabled()

最新推荐文章于 2023-01-05 00:41:21 发布
最新推荐文章于 2023-01-05 00:41:21 发布
阅读量8.4k 收藏 27
点赞数 11
分类专栏： 图像分割学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzzpy/article/details/88873109
版权

volatile是用来在验证或者测试的时候将输入设置成volatile，这样后继几点全部都被设置成volatile，也就是不需要自动求导。

0.4.0以后采用torch.set_grad_enabled()来替代这种用法

但是torch.set_grad_enabled()在使用的时候是设置一个上下文环境，也就是说只要设置了torch.set_grad_enabled(False)那么接下来所有的tensor运算产生的新的节点都是不可求导的，这个相当于一个全局的环境，即使是多个循环或者是在函数内设置的调用，只要torch.set_grad_enabled(False)出现，则不管是在下一个循环里还是在主函数中，都不在求导，除非单独设置一个孤立节点，并把他的requires_grad设置成true。

caicoder_here
关注
专栏目录
Pytorch详解-模型保存与加载、Finetune 模型微调、GPU使用、nvidia-smi详解、TorchEnsemble 模型集成库、torchmetrics 模型评估指标库
算法工程师
09-17 1151
Pytorch详解-模型保存与加载、Finetune 模型微调、GPU使用、nvidia-smi详解、TorchEnsemble 模型集成库、torchmetrics 模型评估指标库
leaf variable & with torch.no_grad & -=
热门推荐
weixin_43178406的博客
04-26 1万+
本文主要介绍了leaf variable & with torch.no_grad & -=，希望能对大家有所帮助。 文章目录 1. leaf variable 2. with torch.no_grad() 3. w-=n与w=w-n的区别 4. with torch.nn.no_grad 与 -= 搭配使用 5. 总结
torch.set_grad_enabled(False)
qq_40840797的博客
08-16 6832
volatile是用来在验证或者测试的时候将输入设置成volatile，这样后继几点全部都被设置成volatile，也就是不需要自动求导。 0.4.0以后采用torch.set_grad_enabled()来替代这种用法 但是torch.set_grad_enabled()在使用的时候是设置一个上下文环境，也就是说只要设置了torch.set_grad_enabled(False)那么接下来所有的tensor运算产生的新的节点都是不可求导的，这个相当于一个全局的环境，即使是多个循环或者是在函数内设置的调
Pytorch with torch.no_grad torch.set_grad_enabled
Decennie的博客
08-05 1097
[pytorch with torch.no_grad和torch.set_grad_enabled用法区别(作用是一样的)]
class torch.autograd.set_grad_enabled(mode: bool)的使用举例
敲代码的小风
04-19 1132
参考链接: class torch.autograd.set_grad_enabled(mode: bool)
pytorch中设置不要记录梯度传播信息的三种方式（torch.no_grad/@torch.no_grad/set_grad_enabled）
qq_43391414的博客
05-07 2565
这个东西和那个with torch.no_grad()一样的作用。
pytorch中with torch.no_grad(): && model.eval()
ZwaterZ的博客
07-22 1973
with是python中上下文管理器，简单理解，当要进行固定的进入，返回操作时，可以将对应需要的操作，放在with所需要的语句中。比如文件的写入（需要打开关闭文件）等。以下为一个文件写入使用with的例子。后部分，可以将with后的语句运行，将其返回结果给到as后的变量（sh），之后的代码块对close进行操作。...
pytorch 使用with torch.no_grad替换volatile
Youngtion_的博客
03-01 1048
今天踩了什么坑 今天看训练的输出结果使发现了一个报错 百度后发现是新的版本下volatile已经被弃用，并且提示可使用： with torch.no_grad 代替volatile； 前置知识 requires_grad 在pytorch中，tensor有一个requires_grad参数（默认为False），如果设置为True，则反向传播时，该tensor就会自动求导。tensor的requires_grad的属性默认为False,若一个节点（叶子变量：自己创建的tensor）requires_gra
model.eval()与with torch.no_grad()
star_xxzeng的博客
09-01 6568
requires_grad、volatile与no_gradrequires_gradvolatileno_gradmodel.eval()与with torch.no_grad() 总结： requires_grad=True 要求计算梯度 requires_grad=False 不要求计算梯度 with torch.no_grad()或者@torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播。（torch.no_grad()是新版本pytorch中volatile的替代） requi
volatile was removed and now has no effect. Use `with torch.no_grad():` instead.
fu6543210的博客
05-29 8975
UserWarning: volatile was removed and now has no effect. Use `with torch.no_grad():` instead. molded_images = Variable(molded_images, volatile=True) 修改为 # Wrap in variable with torch.no_...
pytorch中的model.eval() 和model.train()以及with torch.no_grad 还有torch.set_grad_enabled总结
qq_35037684的博客
07-21 351
传送门：https://blog.csdn.net/a250225/article/details/108589205
class torch.autograd.enable_grad的使用举例
敲代码的小风
04-19 840
参考链接: class torch.autograd.enable_grad
[转载] set_grad_enabled(False) VS with no_grad()
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
01-05 537
https://stackoverflow.com/questions/53447345/pytorch-set-grad-enabledfalse-vs-with-no-grad
PyTorch学习之自动求导机制-Volatile标志
06-05 574
修改官方文档的错误 运行官方文档中的代码可能会报错（维度不一致）： Traceback (most recent call last): File "<stdin>", line 1, in <module> File "e:\Anaconda3\lib\site-packages\torch\nn\modules\module.py", lin...
【解决方案】volatile was removed and now has no effect. Use `with torch.no_grad():` instead.
VAN的博客
08-26 9507
解决方案：volatile was removed and now has no effect. Use with torch.no_grad(): instead. 源代码 self.priors = Variable(self.priorbox.forward(), volatile=True) 原因 在torch版本中volatile已经被移除。 在pytorch 0.4.0之前 input= Variable(input, volatile=True) 设置volatile为True ，只要是一
pytorch中的model.eval()与volatile=True与requires_grad=False
爱在深秋
08-01 5253
最近在看不同的代码，发现有几个地方存在疑惑，所以梳理一下。这个几个地方用来操作或者限定tensor在训练或者测试阶段是否进行求导，或者一些其他限定。
Pytorch: 设置局部梯度
lcqin111的博客
05-01 4346
torch.no_grad(),torch.enable_grad(),torch.set_grad_enabled() 这三个函数对于设置局部梯度和赋能梯度计算。 上代码： >>> x = torch.zeros(1, requires_grad=True) >>> with torch.no_grad(): ... y = x * 2 ...
UserWarning: volatile was removed and now has no effect. Use `with torch.no_grad():` instead. v = Variable(torch.from_numpy(x).type(dtype), requires_grad = False, volatile = True)
最新发布
05-15
这个警告是因为 PyTorch 在版本0.4后将`volatile`参数移除了，并且改用了`with torch.no_grad():`语句块来实现不需要计算梯度的操作。您可以修改代码，将`volatile=True`改为`with torch.no_grad():`，例如： ``` ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值