Pytorch - Cross Entropy Loss

Pytorch - Cross Entropy Loss

Pytorch 提供的交叉熵相关的函数有:

• torch.nn.CrossEntropyLoss

• torch.nn.KLDivLoss

• torch.nn.BCELoss

• torch.nn.BCEWithLogitsLoss

• torch.nn.MultiLabelSoftMarginLoss

  ​

1. CrossEntropyLoss

class torch.nn.CrossEntropyLoss(weight=None, size_average=True, ignore_index=-100, reduce=True)[source]

• 作用

  针对单目标分类问题, 结合了 nn.LogSoftmax() 和 nn.NLLLoss() 来计算 loss.

  用于训练 $C$ 类别classes 的分类问题.

  参数 weight 是 1D Tensor, 分别对应每个类别class 的权重. 对于类别不平衡的训练数据集比较有用.

  输入input 包含了每一类别的概率或score.

  输入 input Tensor 的大小是 $(minibatch, C)$ 或 $(minibatch, C, d_1, d_2, ..., d_K)$. $K \geq 2$ 表示 $K$-dim 场景.

  输入 target 是类别class 的索引($[0, C-1]$, $C$ 是类别classes 总数.)

  $loss(x, class) = -log (\frac{exp(x[class])}{\sum_j exp(x[j])})$

  $loss(x, class) = -x[class] + log(\sum_j exp(x[j]))$

  带 weight形式:

  $loss(x, class) = weight[class](-x[class] + log(\sum_jexp(x[j])))$

  losses 在 minibatch 内求平均.

  也支持高维输入 inputs, 如 2D images, 则会逐元素计算 NLL Loss.

• 参数:

  weight(Tensor, optional) - 每个类别class 的权重. 默认为值为 1 的 Tensor.

  size_average(bool, optional) – 默认为 True.

  ​ size_average=True, 则 losses 在 minibatch 结合 weight 求平均average.

  ​ size_average=False, 则losses 在 minibatch 求相加和sum.

  ​ 当 reduce=False 时,忽略该参数.

  ignore_index(int, optional) - 指定忽略的 target 值, 不影响 input 梯度计算.

  ​ 当 size_average=True, 对所有非忽略的 targets 求平均.

  reduce(bool, optional) - 默认为 True.

  ​ reduce=True, 则 losses 在 minibatch 求平均或相加和.

  ​ reduce=False, 则 losses 返回 per batch 值, 并忽略 size_average.

  输入 - input x,