import torch
inputs = torch.tensor([1, 2, 3], dtype=float)
targets = torch.tensor([4, 5, 6], dtype=float)
loss = torch.nn.L1Loss(reduction='sum')
output = loss(inputs, targets)
print(output)
L1损失函数的用法,L1损失函数可以求绝对值之和或者是绝对值平均,默认是求绝对值平均。
loss_mse = torch.nn.MSELoss()
output_mse = loss_mse(inputs, targets)
print(output_mse)
MSE损失函数,该损失函数是平方差,ℓ(x,y)=L={l1,…,lN}⊤,ln=(xn−yn)^2,默认情况下是求输入值和目标值之间平方差之和的平均值,当然也可以就求和
loss_cross = torch.nn.CrossEntropyLoss(reduction="mean")
x = torch.tensor([0.1, 0.5, 0.8])
x = torch.reshape(x, (1, 3))
targets = torch.tensor([1])
output = loss_cross(x, targets)
print(output)
交叉熵损失函数公式如下;
值得注意的是,输入格式为(N,C,*),N为batchsize,C为类别数量,另外reduciton可以指定是平均还是求和对所有的batch的损失。另外,标签如上所示,我们这里的x输入是3维的,因此类别种类是3,然后我们的标签是1,那么在计算时标签会自动生成0,1,0 的向量,如果是2就生成0,0,1的one-hot形式,标签设为0也类似的。
反向传播之计算梯度:
my_model = Model()
loss_cross = nn.CrossEntropyLoss()
for data in dataloader:
imgs, targets = data
output = my_model(imgs)
# print(imgs.shape)
# print(output.shape)
# print(targets.shape)
loss = loss_cross(output, targets)
print(loss)
loss.backward()
首先,我们还是根据之前的交叉熵损失的计算,计算了交叉熵函数的损失,然后对损失loss进行一个backward,利用这一步我们就可以计算出,根据当前的mini-batch计算一个梯度,我们可以利用这个梯度执行一个权重更新即梯度下降