FocalLoss原理通俗解释及其二分类和多分类场景下的原理与实现

已于 2024-10-18 15:16:19 修改
阅读量8.8k 收藏 172
点赞数 58
分类专栏： 收费专栏 文章标签： 分类 机器学习 深度学习
于 2023-02-20 17:20:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/129108869
版权

免费链接： Blogger(需翻Q)

文章目录

1. FocalLoss的应用场景

学一个东西，首先要知道这个东西是干嘛用的。

FocalLoss主要有两个作用，这也决定了它的应用场景：

  1. FocalLoss可以调节正负样本的loss权重。这意味着，当正负样本数量及其不平衡时，可以考虑使用FocalLoss。
  2. FocalLoss可以调节难易样本的loss权重。这意味着，当训练样本的难易程度不平衡时，可以考虑使用FocalLoss。

这也是“Focal Loss”的名字的含义，把目光聚焦(Focal)在那些“少的，难的”样本上。

虽然大部分博客讨论FocalLoss都是在目标检测场景下，但其实FocalLoss其他场景下都可以用。

举个NLP的应用场景：

  1. 当我们
了解本专栏 订阅专栏 解锁全文 超级会员免费看
MATLAB算法实战应用案例精讲-【人工智能】语义分割（最终篇）(附实战应用案例及代码实现)
qq_36130719的博客
01-02 1850
SETR 是首个在分割任务上超越 CNN 的 Transformer 网络结构，该论文作者认为，虽然 FCN 及其衍生网络都取得了较好的成绩，但本质上都是 encoder-decoder 的结构，所以，该论文作者想要将分割任务构建成一个 sequence-to-sequence 的结构，所以就提出了一个纯 Transformer 的结构（无 CNN 和分辨率降低）。HRNet 通过将由高到低的分辨率特征结合起来的方式，实现对高分辨率特征的保留，并且不同分辨率的特征也进行了信息交换。
第二十三章 LaneAF框架结构以及接入MMDetection3D模型(车道线感知)
专注于人工智能学习，总结
11-02 707
近期参与到了的车道线检测的学习中去，以此系列笔记记录学习与思考的全过程。车道线检测系列会持续更新，力求完整精炼，引人启示。所需前期知识，可以结合进行系统的学习。
深入理解二分类和多分类CrossEntropy Loss和Focal Loss
qq_45041871的博客
05-08 6222
在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为p和1−p，此时表达式为（ 的log底数是eLN1​i∑​Li​N1​i∑​−yi​⋅logpi​1−yi​⋅log1−pi​)]yi​ipi​i由于二分类交叉熵很容易理解，在此就不做举例了。
Pytorch 实现focal_loss 多类别和二分类示例
09-18
今天小编就为大家分享一篇Pytorch 实现focal_loss 多类别和二分类示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Focal Loss
最新发布
weixin_47868976的博客
03-26 762
Focal Loss就像个严厉的老师，逼着模型别再“偷懒”总学简单题（多数类），而是多花力气死磕难题（少数类），这样考试（预测）时才能考好冷门知识点。Focal Loss通过动态降低易分类样本的损失权重，迫使模型集中学习难分类样本和少数类，从而有效解决样本不均衡问题。其中，( p \in [0,1] ) 是模型预测的概率，( y \in {0,1} ) 是真实标签。答：通过( (1-p_t)^\gamma )抑制简单样本的损失贡献，迫使模型关注难样本。答：γ控制难易样本权重，α控制正负样本权重；
focal loss 的 二分类以及多分类实现
samoyan的博客,记录技术成长~
12-07 4032
1、tf 版本 # 二分类 def binary_focal_loss(gamma=2, alpha=0.25): alpha = tf.constant(alpha, dtype=tf.float32) gamma = tf.constant(gamma, dtype=tf.float32) def focal_loss_sigmoid(y_true, y_pred): labels = tf.cast(y_true, tf.float32) L
Focal Loss的理解以及在多分类任务上的使用(Pytorch)
热门推荐
zhaoguanhua的博客
12-17 4万+
理解关键点一 二分类和多分类的交叉熵的区别 二分类交叉熵 多分类交叉熵 理解关键点二 多分类和二分类focal loss 理解关键点三 alpha到底该如何设置
多分类样本类别分布不均衡-解决方案-损失函数(一)：Focal Loss
u013250861的博客
04-04 3416
当γ一定的时候，比如等于2，一样easy example(pt=0.9)的loss要比标准的交叉熵loss小100+倍，当pt=0.968时，要小1000+倍，但是对于hard example(pt < 0.5)，loss最多小了4倍。因此调制系数就趋于1，也就是说相比原来的loss是没有什么大的改变的。，既然one-stage detector在训练的时候正负样本的数量差距很大，那么一种常见的做法就是给正负样本加上权重，负样本出现的频次多，那么就降低负样本的权重，正样本数量少，就相对提高正样本的权重。
多类别的Focal loss
乐趣是人为构建的，构建是一种莫大的乐趣。
08-07 1006
focal loss是为了解决类别不平衡由交叉熵做的改进，关于多分类交叉熵，可以看我的博客 https://blog.csdn.net/qq_44065334/article/details/119056037 原论文Retinanet只说了单分类的Focal loss(FL)，在这里我写出多分类FL的式子 ...
COD论文笔记 CamoFocus: Enhancing Camouflage Object Detection With Split-Feature Focal Modulation
985小菜鸡
05-29 1096
这篇论文提出了一种名为CamoFocus的新方法，用于检测伪装在背景中的物体。CamoFocus通过两个关键组件（特征分割和调制模块FSM，以及上下文细化模块CRM）来改进伪装物体的检测。CamoFocus是一种新颖且高效的伪装物体检测方法，通过特征分割和调制模块（FSM）以及上下文细化模块（CRM）的协同作用，显著提升了检测性能。这种方法在减少计算复杂度的同时，提供了更准确的检测结果，具有广泛的应用潜力。这张配图2展示了论文中CamoFocus模型的整体架构，包括各个模块和它们的相互作用。
cv算法工程师学习成长路线
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
11-15 4562
本文内容为 cv 算法工程师成长之路上的经典学习教材汇总，对于一些新兴领域则给出了较好的博客文章链接。本文列出的知识点目录是成系统且由浅至深的，可作为 cv 算法工程师的常备学习路线资料。部分学习资料存在离线 PDF 电子版，其可在 github仓库-cv_books 中下载。
FocalLoss:多类分类的焦点损失
05-02
焦点损失 多类分类的焦点损失
【深度学习实战（22）】解决样本类别不均衡问题之Focal Loss
m0_51579041的博客
04-23 1443
【深度学习实战（22）】解决样本类别不均衡问题之Focal Loss
多分类任务中如何使用facal loss
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
09-22 1285
Focal Loss 在多分类问题中，通过对难分类样本赋予更高的损失权重，来减少容易分类样本对模型训练的干扰，常用于类别不平衡的任务，如目标检测等。
多标签分类的Focal loss设计
qq_39594939的博客
09-09 4934
多标签分类中存在类别不平衡的问题，想要尝试用focalloss损失函数，但是网上很少有多标签分类的损失函数设计，终于在kaggle上别人做的keras下的focalloss中举例了多标签问题： Focalloss for Keras 代码和例子如下： Focal loss主要思想是这样：在数据集中，很自然的有些样本是很容易分类的，而有些是比较难分类的。在训练过程中，这些容易分类的样本的准确率可以达到99%，而那些难分类的样本的准确率则很差。问题就在于，那些容易分类的样本仍然在贡献着loss，那我们为什么要给
focal loss
qq_27009517的博客
10-26 673
Focal Loss 就是一个解决分类问题中类别不平衡、分类难度差异的一个 loss. Kaiming 大神的 Focal Loss ,二分类形式,是： 如果落实到 ŷ =σ(x) 这个预测，那么就有： 通过一系列调参，得到 α=0.25, γ=2（在他的模型上）的效果最好。 多分类: Focal Loss 在多分类中的形式也很容易得到，其实就是：   ŷt 是目标的...
非平衡数据集 focal loss 多类分类
weixin_33790053的博客
04-24 6560
本文为 AI 研习社编译的技术博客，原标题 ： Multi-class classification with focal loss for imbalanced datasets 作者 |Chengwei Zhang 翻译 | 汪鹏 校对| 斯蒂芬·二狗子 审核| Pita 整理 | 立鱼王 ...
交叉熵/二分类交叉熵及各自对应的focal loss(附pytorch代码)
Enjoy_endless
03-28 8869
对于二分类问题，使用softmax或者sigmoid，在实验结果上到底有没有区别(知乎上相关问题讨论还不少)。最近做的相关项目也用到了这一块，从结果上来说应该是没什么区别，但是在模型上还是存在一定差异性的(可以应用于多模型融合、在相关比赛项目当中还是可以使用的)。相关知识和代码总结如下。 以下主要分为4个部分：交叉熵损失、二分类交叉熵损失、Focal loss及二分类Focal loss 1. C...
circle loss代码实现_Focal loss的简单实现(二分类+多分类)
06-07
下面是 circle loss 和 focal loss 的简单实现（包括二分类和多分类）： Circle Loss： ```python import torch import torch.nn as nn import torch.nn.functional as F class CircleLoss(nn.Module): def __init__(self, m=0.25, s=30): super(CircleLoss, self).__init__() self.m = m self.s = s def forward(self, feats, labels): sim_mat = torch.matmul(feats, feats.t()) mask = labels.expand(labels.size(0), labels.size(0)).t().eq(labels.expand(labels.size(0), labels.size(0))) pos_mask = mask.triu(diagonal=1) neg_mask = mask.logical_not().triu(diagonal=1) pos_sim = sim_mat[pos_mask] neg_sim = sim_mat[neg_mask] alpha_p = F.relu(-pos_sim.detach() + 1 + self.m) alpha_n = F.relu(neg_sim.detach() + self.m) delta_p = 1 - self.m delta_n = self.m logit_p = -self.s * alpha_p * (pos_sim - delta_p) logit_n = self.s * alpha_n * (neg_sim - delta_n) logit = torch.cat([logit_p, logit_n], dim=0) loss = F.softplus(torch.logsumexp(logit, dim=0)) return loss ``` Focal Loss： ```python import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): def __init__(self, alpha=0.25, gamma=2, reduction='mean'): super(FocalLoss, self).__init__() self.alpha = alpha self.gamma = gamma self.reduction = reduction def forward(self, inputs, targets): BCE_loss = F.binary_cross_entropy_with_logits(inputs, targets, reduction='none') pt = torch.exp(-BCE_loss) F_loss = self.alpha * (1-pt)**self.gamma * BCE_loss if self.reduction == 'mean': return torch.mean(F_loss) elif self.reduction == 'sum': return torch.sum(F_loss) else: return F_loss ``` 以上代码适用于 PyTorch 深度学习框架。
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值