torch.gather在求单分类任务交叉熵损失时的用法

最新推荐文章于 2023-04-14 00:55:56 发布
最新推荐文章于 2023-04-14 00:55:56 发布
阅读量576 收藏 5
点赞数 1
分类专栏： pytorch 文章标签： python 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyoung17/article/details/107892233
版权
本文介绍了torch.gather()函数的用法，重点阐述了在单分类任务中如何利用该函数计算交叉熵损失。通过示例解释了函数参数和操作方式，并指出在单分类任务中，只需取概率最大的类别作为预测标签，结合torch.gather()可高效计算交叉熵损失。
摘要由CSDN通过智能技术生成

1. torch.gather()的用法

参考链接：TORCH.GATHER
函数参数：在这里插入图片描述
输入一个源tensor以及需要对齐的索引以及对齐的维度，返回对齐的结果。
例子：

import torch
t = torch.tensor([[1,2],[3,4]])
out = torch.gather(t, 1, torch
最低0.47元/天 解锁文章
zyoung17
关注
专栏目录
torch.gather通俗例子
jacke121的专栏
10-18 2665
b = torch.Tensor([[1, 2], [3,4]]) index_2 = torch.LongTensor([[1, 0], [ 1, 0]]) print(torch.gather(b, dim=0, index=index_2)) index_1 = torch.LongTensor([[1, 0], [1, 0]]) print(...
pytorch实现基本的logistic和softmax回归实验（手动+torch）
qq_37534947的博客
08-23 1万+
前提：不是前馈神经网络，没有隐藏层。 一：Logistic回归实验–人工构造数据集，手动构造模型 要求： 动手从0实现logistic回归，实现二分类，人工构造数据集，并分析loss、训练集、测试集的准确率。（要求从零实现二元交叉熵） 实验过程： 1.1人工构造数据集 1. # #自定义数据---训练集 2. num_inputs = 2 3. n_data = torch.ones(1500, num_inputs) # 数据的基本形态 4. x1 = torch.normal(2 * n_d
函数torch.gather()的实例记载学习
xinjieyuan的博客
10-19 672
torch.gather()的理解
[pytorch]——torch.gather(以BERT中的MLM为例)
jokerxsy的博客
05-17 1323
前言 都知道BERT中有MLM的任务，假设此时ENCODER的输出output的大小为: batch_size x max_len x d_model，而对于每一个句子，都有对应的数个被mask掉的单词，所以假设被mask掉的单词下标矩阵大小为:batch_size x mask_num。那么，我们要做的，就是在output的每一个句子中，按照下标，选择mask_num个单词，从而组成:batch_size x mask_num x d_model大小的矩阵，再通过线性层，进行分类。 具体代码如下: mas
torch.nn.functional.cross_entropy（交叉熵）使用
qq_36892712的博客
04-14 7326
是用于计算交叉熵损失函数的函数。它的输出是一个表示给定输入的损失值的张量。具体地说，函数与类是相似的，但前者更适合于控制更多的细节，并且不需要像后者一样在前面添加一个Softmax层。。input：(N, C)形状的张量，其中N为Batch_size，C为类别数。该参数对应于神经网络最后一个全连接层输出的未经Softmax处理的结果。target：一个大小为(N,)张量，其值是0
torch的交叉熵损失函数(cross_entropy)计算(含python代码)
向上生长的程序媛的博客
12-01 1万+
1.调用 首先，torch的交叉熵损失函数调用方式为： torch.nn.functional.cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean') 一般会写成： import torch.nn.functional as F F.cross_entropy(input, target) 2.参数说明 输入（张量）–(N,
补充：标签平滑的实现
liupc的学习笔记
08-19 444
一、torch.gather()函数与交叉熵损失的计算 1.1 torch.gather()函数 这个函数较难懂。这里讲一下，因为后面可能用到。 结果的形状与index的形状一样。比如上例中，index是一个2*2的张量，那么最后的结果就是2*2的张量。 首先令out[i][j] = input[i][j]，然后因为dim是1，所以要把j换掉，换成index[i][j]。这样就得到最后的结果了。 out[0][0] = input[0][0], 把0换成index[0][0] = 0。所以..
损失函数解读 之 Focal Loss
热门推荐
黎国溥
01-24 2万+
前言 Focal loss 是一个在目标检测领域常用的损失函数，它是何凯明大佬在RetinaNet网络中提出的，解决了目标检测中正负样本极不平衡和 难分类样本学习的问题。 论文名称：Focal Loss for Dense Object Detection 目录 什么是正负样本极不平衡？ two-stage 样本不平衡问题 one-stage 样本不平衡问题 交叉熵 损失函数 Focal Loss 代码实现Pytorch 什么是正负样本极不平衡？ 目标检测算法为了定位目标会...
基于MnasNet实现垃圾分类任务
CSDN 精品推荐
11-02 2023
数据集介绍这个数据集有15150张图片，来自12种不同类别的家庭垃圾；纸张、纸板、生物、金属、塑料、绿色玻璃、棕色玻璃、白色玻璃、衣服、鞋子、电池和垃圾。垃圾回收是保护我们环境的一个关键方面。为了使回收过程可能/更容易，垃圾必须被分类到具有类似回收过程的组别。我发现，大多数可用的数据集将垃圾分为几个类别（最多两到六个类别）。如果有能力将家庭垃圾分为更多的类别，就能大大增加回收垃圾的比例。
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
torch分类问题
weixin_30679823的博客
12-26 169
import torch from torch.autograd import Variable import torch.nn.functional as F import matplotlib.pyplot as plt # torch.manual_seed(1) # reproducible # make fake data n_data = torch.on...
pytorch交叉熵使用方法
longshaonihaoa的博客
04-01 6079
交叉熵相关理论网上好多，这篇只记录一下在分割中怎么用torch.nn.BCELoss 和torch.nn.CrossEntropyLoss,也方便自己以后使用。 1、二分类用nn.BCELoss output: 定义： 网络的输出 数值： 需要经过sigmoid()函数归一化到[0,1], shape: [bs,*] # *表示长宽高等任意...
交叉熵和torch.nn.CrossEntropyLoss() 学习笔记
qq_27839923的博客
01-18 1568
交叉熵，torch.nn.CrossEntropyLoss()
PyTorch基础——torch.nn.CrossEntropyLoss交叉熵损失
gy笨瓜的博客
12-13 4513
torch.nnCrossEntropyLosss使用的公式 loss(x,class)=−log(exp(x[class]∑exp(x[j]))loss(x,class)=-log(\frac {exp(x[class]} {\sum exp(x[j])})loss(x,class)=−log(∑exp(x[j])exp(x[class]​)
最全的交叉熵损失函数(Pytorch)
qq_41062405的博客
03-21 2730
主要讲述pytorch中的几种交叉熵损失类，熵是用来描述一个系统的混乱程度,通过交叉熵我们就能够确定预测数据与真是数据之间的相近程度。
pytorch gather函数
我的博客
12-22 866
b = torch.Tensor([[1,2,3],[4,5,6]]) print b index_1 = torch.LongTensor([[0,1],[2,0]]) index_2 = torch.LongTensor([[0,1,1],[0,0,0]]) print torch.gather(b, dim=1, index=index_1) print torch.gather(b, d...
分类算法中的损失函数
Vincent_zbt的博客
10-25 1万+
转自：http://blog.csdn.net/google19890102/article/details/50522945一、分类算法中的损失函数 在分类算法中，损失函数通常可以表示成损失项和正则项的和，即有如下的形式：J(w)=∑iL(mi(w))+λR(w)其中，L(mi(w))为损失项，R(w)为正则项。mi的具体形式如下：mi=y(i)fw(x(i))y(i)∈{−1,1}fw(x(i)
（一）pytorch单任务图像分类
m0_48095841的博客
07-07 949
深度学习图像识别，可直接运行，操作简单。 深度学习主要由：数据读取、网络模型、损失函数、优化器这四个部分构成最开始不应该纠结于这些细节，应该先让代码跑起来再去研究代码是怎么写的下面的代码只是训练部分的代码，并加上验证模型准确率的功能。......
torch.gather
最新发布
05-01
在使用torch.gather时，需要注意输入Tensor和索引Tensor的维度必须匹配，否则会抛出运行时错误。同时，输出Tensor的形状也必须与输入Tensor相同。 torch.gather的用途很广泛，例如可以用它实现神经网络中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值