pytorch中关于with torch.no_grad()的一些理解

代码内容参考:08 线性回归 + 基础优化算法【动手学深度学习v2】

                         3.2. 线性回归的从零开始实现


        最近在看李沐老师的【动手学深度学习 v2】,在线性回归部分,由于本人知识储备有限,对with torch.no_grad()不是很理解,在结合一些相关博文解释和自己不断运行代码的情况下,认为with torch.no_grad()主要可以在两种情况下使用。

1. 优化参数时用来更新参数

def sgd(params, lr, batch_size): 
    """小批量随机梯度下降"""
    with torch.no_grad():
        for param in params:    # param 是一个list,如果模型是y=Xw+b,则param=[w,b]
            param -= lr * param.grad / batch_size
            param.grad.zero_()

      可以看到上图中with torch.no_grad()用在了对参数param(这里是线性回归,参数表示的就是w和b)更新的时候,我们可以尝试将with torch.no_grad()去掉再去运行代码:

def sgd(params, lr, batch_size):  #@save
    """小批量随机梯度下降"""
#     with torch.no_grad():
    for param in params:    # param 是一个list
        param -= lr * param.grad / batch_size
        param.grad.zero_()

-------------------------------------------------------------------------------------------

# 报错内容:

Cell In[98], line 5, in sgd(params, lr, batch_size)
      3 #     with torch.no_grad():
      4     for param in params:    # param 是一个list
----> 5         param -= lr * param.grad / batch_size
      6         param.grad.zero_()

RuntimeError: a leaf Variable that requires grad is being used in an in-place operation.

       可以看到运行到最后调用优化参数函数sgd时报错(上图只放了定义sgd函数和报错的内容,没有放调用函数的代码)。报错原因是由于参数param,即w和b在计算图中是叶子节点,而计算图中的叶子节点是不能直接进行运算,所以这里的with torch.no_grad()我认为可以理解为让参数param暂时脱离出计算图,将其修改后的内容当作param再塞到计算图中。

 

2.模型评估

for epoch in range(num_epochs):
    for X, y in data_iter(batch_size, features, labels):
        l = loss(net(X, w, b), y)  # X和y的小批量损失
        # 因为l形状是(batch_size,1),而不是一个标量。l中的所有元素被加到一起,
        # 并以此计算关于[w,b]的梯度
        l.sum().backward()
        sgd([w, b], lr, batch_size)  # 使用参数的梯度更新参数
    with torch.no_grad():
        train_l = loss(net(features, w, b), labels)
        print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}')

       对于模型评估,很多博客对于使用使用with torch.no_grad()原因的解释大致为:在模型评估的时候,只需要计算loss,而不再需要更新参数,所以使用with torch.no_grad()的原因是为了减少计算梯度造成的内存消耗。

        这里我有个问题是这里的loss没有.backward()进行反向传播,那不就不会计算梯度吗?

        后面查了很多博客,找到一个我认为相对比较合理的理由,那就是虽然没有进行反向传播,但前向传播的时候会构建计算图,由于参数的requires_grad=True,所以会不断存储反向传播中需要用到的前向传播中算出的中间值,如果使用with torch.no_grad()就不会生成计算图,也就可以避免不必要的内存消耗。

  • 7
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值