SimCSE: Simple Contrastive Learning of Sentence Embeddings

最新推荐文章于 2023-07-09 14:24:19 发布
最新推荐文章于 2023-07-09 14:24:19 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： nlp 文章标签： 自然语言处理 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zpp13hao1/article/details/122130708
版权

SimCSE

论文目的

SimCSE:simple contrastive sentence embedding framework
首先提出一种无监督的方法，仅使用dropout作为噪声，进行对比训练。与有监督的方法效果类似，dropout充当了最小的数据增强的方法，删除它模型会崩溃。
然后提出一种有监督的方法，使用自然语言推理（NLI）中的蕴含作为正对、矛盾作为负例，在STS任务上评估SimCSE，在无监督和有监督的任务上都有提升。
还在理论和试验上证明了对比学习目标将预训练嵌入的各向异性空间正则化，使其更加均匀。

相关工作

Contrastive Learning

L i = − log ⁡ exp ⁡ ( s i m ( h i , h i + / τ ) ) ∑ j = 1 N s i m ( h i , h j + / τ ) ) L_i=-\log\frac{\exp(sim(h_i,h^+_i/\tau))}{\sum_{j=1}^Nsim(h_i,h^+_j/\tau))} Li​=−log∑j=1N​sim(hi​,hj+​/τ))exp(sim(

最低0.47元/天 解锁文章
红酒暖心也暖胃
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[EMNLP 2021] SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_42170839的博客
01-24 1409
无监督的SimCSE将句子过两次预训练模型得到两个不同的embedding作为正例对，将同一batch中的其他句子作为负例，模型在所有负例中预测出唯一的正例。有监督的SimCSE使用NLI数据，将蕴含关系对作为正例，矛盾关系及batch内其他的句子作为负例。
论文解读SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_41932160的博客
03-13 903
简介 这是一篇方法很简单效果却十分好的论文，直接将语义相似度sota提升了好几个百分点。 背景对比学习 Contrastive learning aims to learn effective representation by pulling semantically close neighbors together and pushing apart non-neighbors (Hadsell et al., 2006) 对比学习可以拉开不相似的item的距离，缩小相似的item的距离。 损失如上所
SimCSE: Simple Contrastive Learning of Sentence Embeddings翻译
nopSled
05-21 950
摘要
Article Analysis(AA): A Simple Framework for Contrastive Learning of Visual Representations
01-20
A Simple Framework for Contrastive Learning of Visual Representations 作者： Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton 本文提出一种简洁有效的设计的无监督设计，并且以7%的margin刷新...
CONTRASTIVE LEARNING OF STRUCTURED WORLD MODELS
06-02
计算机视觉Github开源论文
Python基于BERT的中文文本相似度识别模型源码+项目说明.zip
最新发布
11-19
论文：SimCSE: Simple Contrastive Learning of Sentence Embeddings 训练数据：lcqmc随机选取10000语句，抛弃标签。 SimCSE_unsupervised_sp：采用与苏剑林相同的损失函数 训练数据：同上 SimCSE_...
contrastive-learning:对比学习方法
03-10
对比学习方法支持更多内容的对比学习方法的第三方pytorch实现（请参阅“可用内容”部分）。有什么可用的？ 使用SimCLR进行对比学习预训练通过停止梯度进行在线线性评估Pytorch闪电登录和默认收益（多GPU训练，混合...
百度云提取.bert-large-uncased-pytorch_model.bin
08-20
bert-large-uncased-pytorch_model.bin 这是1024位的，资源过大，超过一个g，我放百度云上了 768位的看我的博客免费获取
SimCSE: Simple Contrastive Learning of Sentence Emb
人工智能曾小健
05-30 352
SimCSE主要解决的是Sentence Embedding的问题，也就是句向量。传统方式中，大部分句向量是通过词向量求和而成（词向量通常是由word2vec等方法训练而成）。显然这样的方法比较简单粗暴，而且直接加和的方式并没有利用到词与词之间的交互信息。取而代之的则是以Bert为基础的各类模型。在Bert中，通过堆叠Transformer encoder，能够捕捉到一个句子中深度双向的词与词之间的信息，并以输出层中的[CLS] token的向量来表示整个句子的向量。（关于Bert的细节问题请移步相关文章）
【论文阅读-对比学习】SimCSE Simple Contrastive Learning of Sentence Embeddings
春天
03-10 1411
今天分享下Danqi大佬的SimCSE。文章首发于https://zhuanlan.zhihu.com/p/477334784 Title: SimCSE: Simple Contrastive Learning of Sentence Embeddings From: EMNLP 2021 Link: https://arxiv.org/abs/2104.08821 论文提出了基于对比学习框架的SimCSE，来是提升句向量的嵌入表示。在有监督和无监督的语义相似度任务上取得了SOTA效果。 背景知识 先介
SimCSE详解，Simple Contrastive Learning of Sentence Embeddings
ws_nlp_的博客
06-07 1622
简介 contrastive(对比)学校框架，提升句子embedding效果 无监督，句子本身和句子自己带有dropout 使用NLI数据集，entailment（蕴含）对作为正例，contradiction（矛盾）对作为负例 在STS任务上，效果好 介绍 无监督simcse预测句子本身，仅使用dropout作为噪声 换句话说，我们把相同的输入句子放到预训练encoder两次，包括两个embedding作为正例对，这两个encoder单独dropout（互不影响，不同的dropout形成不同的embeddi
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings
codename_cys的博客
03-06 1516
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings 1. 文献内容简介 2. 主要方法介绍 3. 主要实验介绍 1. STS Experiment 2. Downsteam Experiment 4. 讨论 1. loss function考察 2. 其他正例构造方式考察 3. 消解实验 5. 结论 & 思考 文献链接：https://arxiv.org/abs/2104.08821v2 1. 文献内..
【EMNLP 2021】SimCSE：句子嵌入的简单对比学习 && 【CVPR 2021】理解对比学习损失函数及温度系数
09-16 1742
SimCSE（Simple Contrastive Learning of Sentence Embeddings）是一种简单在没有监督训练数据的情况下训练句子向量的对比学习方法。这个方法是对同一个句子进行两次编码。由于在 Transformer 模型中使用了 dropout，两个句子表征的位置将略有不同。目标函数 Multiple Negatives Ranking Loss：其中，z和z’ 是两个不同的dropout随机掩码。
Raki的读paper小记：SimCSE: Simple Contrastive Learning of Sentence Embeddings
Raki_J的博客
03-01 665
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 面临挑战 创新思路 用一种非常简单的无监督对比学习方法，来预测自己，仅仅使用标准的dropout作为噪声 与以前的工作不同的是，之前的工作将其作为一个三分类任务（蕴含、中性和矛盾），我们利用蕴含对可以自然地作为正向实例的事实 实验结论 sota 我们发现，dropout作为最小的数据增广，去除它就会导致表示坍缩 增加相应的矛盾对作为ha
文献阅读笔记 # SimCSE: Simple Contrastive Learning of Sentence Embeddings
skysys的研究小屋
07-09 655
SimCSE：Sentence Embedding + 对比学习
【对比学习论文】SimCSE：句子嵌入的简单对比学习
qq_43058281的博客
02-26 286
SIMCSE
SimCSE：仅用Dropout实现的简单对比学习
然而，这篇文章《SimCSE: Simple Contrastive Learning of Sentence Embeddings》提出了一个新颖且简单的方法，即仅使用dropout这一常见的正则化技术来实现数据增强。 首先，SimCSE的创新之处在于它摒弃了传统复杂...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值