ReLU之参数 inplace=True

在下采样的过程中，我们常常用ReLU（inplace=True），具体的含义：

import torch
from torch import nn as nn
m = nn.ReLU(inplace=True)
input = torch.randn(10)
print(input)
output = m(input)
print(output)
print(input)

tensor([-0.0652,  0.0622,  0.0466, -0.0300, -0.6344, -0.9284, -1.2392,  1.7463,
         0.7938, -0.8787])
tensor([0.0000, 0.0622, 0.0466, 0.0000, 0.0000, 0.0000, 0.0000, 1.7463, 0.7938,
        0.0000])
tensor([0.0000, 0.0622, 0.0466, 0.0000, 0.0000, 0.0000, 0.0000, 1.7463, 0.7938,
        0.0000])

当inplace=True的时候，会改变输入数据；当inplace=False的时候，不会改变输入数据

我们都知道激活函数：ReLU（）将小于0的值置为0，大于0 的保存下来了。