【CNN训练梯度裁剪】

• 梯度裁剪

  • 参考

    • 梯度剪裁
    • PyTorch使用Tricks：梯度裁剪-防止梯度爆炸
    • 【Pytorch】梯度裁剪——torch.nn.utils.clip_grad_norm_的原理及计算过程

  • 方法

    梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或梯度消失的优化技术，它可以在反向传播过程中对梯度进行缩放或截断，使其保持在一个合理的范围内。梯度裁剪有两种常见的方法：

    1. 按照梯度的绝对值进行裁剪，即如果梯度的绝对值超过了一个阈值，就将其设置为该阈值的符号乘以该阈值。
    2. 按照梯度的范数进行裁剪，即如果梯度的范数超过了一个阈值，就将其按比例缩小，使其范数等于该阈值。例如，如果阈值为1，那么梯度的范数就是1。

  • pytorch实现

    import torch.nn as nn
     
    outputs = model(data)
    loss= loss_fn(outputs, target)
    optimizer.zero_grad()
    loss.backward()
    # 方法一
    torch.nn.utils.clip_grad_value_(model.parameters(), clip_value=0.5)
    # 方法二
    nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)	#! 在梯度更新前裁剪
    optimizer.step()
    
    # 获取梯度的范数
    # 对于模型的每个参数，计算其梯度的L2范数
    for param in model.parameters():
        grad_norm = torch.norm(param.grad, p=2)
        print(grad_norm)