caffe层笔记系列Loss层

最新推荐文章于 2022-07-23 16:51:28 发布

zhengzibing2011

最新推荐文章于 2022-07-23 16:51:28 发布

阅读量305

点赞数

分类专栏： Deep Learning

本文链接：https://blog.csdn.net/zhengzibing2011/article/details/78759965

版权

Deep Learning 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

SoftmaxWithLoss

1. 可选参数
1) ignore_label
int型变量，默认为空。如果指定值，则label等于ignore_label的样本将不参与Loss计算，反向传播时梯度直接置0。
2) normalize
bool型变量，即Loss会除以参与计算的样本总数，否则Loss等于直接求和。
3) normalization
enum型变量，默认为VALID,详细情况再查询资料。

2. 归一化方式
1) 只设置了normalize
A. normalize=True时，归一化方式为VALID.
B. normalize=False(default)时，归一化方式为BATCH_SIZE.
2) 设置normalization，此时归一化方式由normalization决定，不再考虑normalize。
3) Example
layer {
name: “loss”
type: “SoftmaxWithLoss”
bottom: “fc1”
bottom: “label”
top: “loss”
loss_param {
ignore_label: 1
normalize: True
normalization: FULL
}
}