图解通俗理解对比学习(Contrastive Learning)中的温度系数（temperature）

已于 2024-10-18 15:11:45 修改
阅读量5.9k 收藏 55
点赞数 32
分类专栏： 收费专栏 文章标签： 学习 机器学习 python
于 2023-03-12 09:40:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/129461735
版权

免费链接： Blogger(需翻Q)

文章目录

1. 对比学习简述

没有学过对比学习的，请学一下，这里只是复习。

对比学习目的：让相似的样本在空间中距离近一点，让不相似的样本距离远一点。这样就可以让特征分布在空间中更加均匀。

对比学习方法：

  1. 构建一个正样本对儿 ( x i , x j )
了解本专栏 订阅专栏 解锁全文 超级会员免费看
对比学习Contrastive Learning
yang_daxia的博客
12-21 2万+
对比学习是一种常用的自监督学习方法。 核心思想：把正样本距离拉近，正样本与负样本距离拉远。（类似度量学习中的margin, 但是对比学习为正负样本分类，无margin概念） 方式：通过一个正样本，以及k个负样本进行对比学习，研究表明K越大越好，可以取几万个。 优化问题：对于一个正样本，需要和k个负样本做分类，使模型分清楚哪些是正样本，哪些是负样本，用交叉熵即可。如下图 经典方法： memory bank:把所有样本的logits存起来，计算loss MoCo：用一个qu...
对比学习Contrastive Learning原理与代码实例讲解
AI天才研究院
06-04 1576
1.背景介绍 在深度学习的背景下，对比学习（Contrastive Learning）是一种无监督学习方法，它通过学习将相似样本和不同样本区分开来。这种方法的核心思想是强制模型学习输入数据中的内在结构，从而在没有标签的情况下实现有效学习。随着大规模数据集的出现，以及计算能力的飞速发展，对比学习已经成为了许多研究领域的热点话题。
NeurIPS 2023 | 从分布鲁棒优化角度理解对比学习的鲁棒性和温度系数的意义
Paper weekly
12-05 1608
©PaperWeekly 原创 ·作者 |吴俊康单位|中国科学技术大学博士生研究方向|对比学习本文从分布式鲁棒优化（DRO）的角度分析了对比学习损失函数（InfoNCE），揭示了 InfoNCE 对负样本分布的鲁棒性，并指出温度系数的本质是 DRO 中控制鲁棒半径的拉格朗日系数，同时也建立了 DRO 和互信息 (MI) 之间的理论联系。此外，我们从 DRO 的角度指出了 InfoNCE...
learnable temperature可学习温度参数
最新发布
m0_63855028的博客
03-14 712
将 τ 初始化为一个标量（如 τ=1.0），并添加到模型参数中。
干货 | 带你理解对比学习损失函数的性质以及温度系数的作用
zenRRan的博客
10-05 1万+
作者| Feng整理 | 对白的算法屋编者寄语：很多小伙伴都了解对比学习，但要说温度系数的作用可能就不太清楚了。卷友们好，我是对白。对比学习中的温度系数是一个神秘的参数，大部分论文都默认...
对比学习 | 对比学习损失（InfoNCE loss）与交叉熵损失的联系 温度系数的作用
"You are worthy! You can do it!"
03-03 2万+
Info NCE loss是NCE的一个简单变体，它认为如果你只把问题看作是一个二分类，只有数据样本和噪声样本的话，可能对模型学习不友好，因为很多噪声样本可能本就不是一个类，因此还是把它看成一个多分类问题比较合理（但这里的多分类 k 指代的是负采样之后负样本的数量，下面会解释）。唯一的区别是，在cross entropy loss里，k指代的是数据集里类别的数量，而在对比学习InfoNCE loss里，这个k指的是负样本的数量。温度系数τ虽然只是一个超参数，但它的设置是非常讲究的，直接影响了模型的效果。
对比学习损失函数中超参数temperature的作用
hhh590_hh的博客
11-21 4008
对比学习损失函数中超参数温度temperature(tao)的作用
对比学习是什么？一张图详解AI中的对比学习
gu1857035894的博客
09-15 1587
对比学习有的paper中称之为自监督学习，有的paper称之为无监督学习，自监督学习是无监督学习的一种形式，现有的文献中没有正式的对两者进行区分定义，这两种称呼都可以用。对比学习的核心思想其实很简单，下面通过三张图说明核心思想。
理解对比表示学习(Contrastive Learning)
热门推荐
xxxxxxxxxx13的博客
12-12 3万+
目录一、前言二、对比学习三、主要论文（附代码分析）1.MOCO ([Kaiming He](https://ieeexplore.ieee.org/document/9157636) *et al.* 2020)2. SIMCLR ([Geoffrey Hinton](https://arxiv.org/pdf/2002.05709.pdf) *et al* 2020)3. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 201
对比学习损失infoNCE以及温度超参τ
LuvLive的博客
05-25 2845
关于对对比学习损失infoNCE以及温度超参τ的总结和理解
【EMNLP 2021】SimCSE：句子嵌入的简单对比学习 && 【CVPR 2021】理解对比学习损失函数及温度系数
09-16 1939
SimCSE（Simple Contrastive Learning of Sentence Embeddings）是一种简单在没有监督训练数据的情况下训练句子向量的对比学习方法。这个方法是对同一个句子进行两次编码。由于在 Transformer 模型中使用了 dropout，两个句子表征的位置将略有不同。目标函数 Multiple Negatives Ranking Loss：其中，z和z’ 是两个不同的dropout随机掩码。
对比学习的正负对 以及参数设置
chumingqian的博客
04-30 3468
首先，我们为这 7 个类别中的每一个类别定义具体的转换。PyTorch 的模块可用于此目的。]),]),]),]),]),]),])We’ll start by defining a common transformation that can be applied twice to each sample to generate two augmented versions.我们将首先定义一个通用转换，该转换可以对每个样本应用两次以生成两个增强版本。])
Understanding the Behaviour of Contrastive Loss理解对比损失的性质以及温度系数的作用
06-14 1972
论文标题：Understanding the Behaviour of Contrastive Loss Understanding the Behaviour of Contrastive Loss​arxiv.org 对比学习中的温度系数是一个神秘的参数，大部分论文都默认采用小的温度系数来进行自监督对比学习（例如0.07，0.2）。然而并没有对采用小温度系数的解释，以及温度系数是如何影响学习过程的，即温度系数这个角色的意义。 本文章对对比损失（Contrastive Loss）中的温度系数进.
对比学习知识整理
weixin_46466347的博客
11-06 1112
本文参考：【深度学习：（Contrastive Learning） 对比学习】深入浅出讲解对比学习。
CVPR 2021 | 从理论和实验角度深入剖析对比损失中的温度超参数
Paper weekly
09-16 1927
©作者|李想学校|哈尔滨工业大学（深圳）研究方向|自然语言处理Foreword这次的论文笔记的内容是 CVPR'21 的一篇论文“Understanding the Behav...
细节满满！理解对比学习和SimCSE，就看这6个知识点
Paper weekly
06-01 3283
‍‍‍‍‍‍©PaperWeekly 原创 · 作者 |海晨威研究方向|自然语言处理‍‍‍‍‍‍2020 年的 Moco 和 SimCLR 等，掀起了对比学习在 CV 领域的热潮，2...
Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam，SimCSE）
nakaizura
10-06 1万+
很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 Inductive Bias Learning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台，自监督是未来！ 自监督学习有大类方法，一个是生成方法一个对比方法，如上图。生成方法往往会对像素级损失进行约束，而对比学习在表示学习上做的事情就是，其实模型不必要知道关于.
论文解读(3)-UrbanVLP
weixin_63767221的博客
07-19 1015
主要创新点在于结合了宏观（卫星）和微观（街景）的图像，并且引入了自动文本生成，提高了下游任务的可解释性，提高了文本描述的质量。顺便加强一下对上一篇文章的理解。现在主流的两种城市区域分析：1）这个是对特定任务的解决，归属下游任务2）这个目的是提高模型的综合性能，并没有一个具体的偏向，但是可以利用加强描述等方法，去让模型更好理解相关的输出，从而之后被应用到特定领域的时候有很好的发展空间。这个图左侧部分和上一篇论文有点像，主要就是介绍那两种城市区域分析方法。最后面是下游任务，可以先不用理他们。
对比学习损失介绍
VIEO
12-17 4068
参考：表征学习的Contrastive Loss小结 - 知乎 表征学习就是为了学到一种data的变换使得更加容易地解决下游的任务。该领域有很长的研究历史，从经典的PCA和ICA开始，然而这些方法倾向于学到data中的low-level的variations，比如对于下游的object recognition任务就不太合适。 最近，基于self-supervised的表征学习很火，比如下面这两个问答： 如何评价Kaiming He的Momentum Contrast for Unsupervised?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值