![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
文章平均质量分 93
红酒暖心也暖胃
吃喝玩乐,洋洋皆可。。。。方便他人,方便自己
展开
-
All mistakes are not equal: Comprehensive Hierarchy Aware Multi-label Predictions (CHAMP)
多层级loss函数原创 2022-08-15 16:31:09 · 429 阅读 · 1 评论 -
representation learning for resource-constrained keyphrase generation
关键词生成2022原创 2022-08-01 17:05:23 · 282 阅读 · 0 评论 -
InferSent
Supervised Learning of Universal Sentence Representations from Natural Language Inference DataGitHub论文目的NLP系统基于word embedding作为base features,却很少有成功的sentence embedding。本论文基于Stanford NLI数据得到好的sentence representations,也可以转换到其它数据集。相关工作word2vecgloveSkip原创 2022-01-27 16:59:04 · 911 阅读 · 0 评论 -
ERNIE-DOC
ERNIE-DOC: A Retrospective Long-Document Modeling TransformerGitHub论文目的因为随着长度的增加,transformer的内存和时间消耗成倍增加,所以transformer不适合处理长文本。简单的截断文档或使用稀疏attention并不能解决这个问题,提出ERNIE-DOC:一种基于循环transformer的文档级语言预训练模型,由两种技术组成:retrospective feed mechanism(回溯) and the enhan原创 2022-01-20 16:40:59 · 1213 阅读 · 0 评论 -
GATER
Heterogeneous Graph Neural Networks for Keyphrase GenerationGitHub论文目的keyphrase generation(KG)同时预测present keyphrases和absent keyphrases,但是仅依靠source document会产生不可控和不准确的absent keyphrases。为了解决这个问题,本论文基于图从相关的参考文献中获取显式的信息,首先从预定义的索引中找到与source document相似的文档-关键词原创 2022-01-18 16:55:48 · 948 阅读 · 0 评论 -
HiDEC
HIERARCHY DECODER IS ALL YOU NEED TO TEXT CLASSIFICATIONGitHub论文目的Hierarchical text classification (HTC) 会有数据不平衡和层级依赖的缺点,有local和global两种改进方向,hierarchy decoder (HiDEC)基于编码器、解码器的层次递归解码,The key idea of the HiDEC involves decoding a context matrix into a su原创 2022-01-12 15:36:23 · 339 阅读 · 0 评论 -
TRANS-ENCODER
TRANS-ENCODER: UNSUPERVISED SENTENCE-PAIR MODELLING THROUGH SELF- AND MUTUAL-DISTILLATIONSGitHub论文目的sentence similarity and paraphrase identification 两句话进行对比有两种常见的方法: bi-encoders and cross-encoders。Bi-encoders产生固定维度的句子表达,效果不如cross-encoders好,cross-encode原创 2022-01-08 16:22:27 · 969 阅读 · 0 评论 -
Fast, Effective, and Self-Supervised:Mirror-BERT
Fast, Effective, and Self-Supervised: Transforming Masked LanguageModels into Universal Lexical and Sentence Encoders论文目的没有经过特定任务微调的预训练MLMs对句子编码是无效的,本论文想基于自监督将MLMs在不引入新数据的前提下对句子编码。提出Mirror-BERT:简单、快速、有效,通过对字符串进行小的修改形成正样本进行微调,有些数据集上效果与sentence-bert可媲美相关原创 2022-01-05 16:27:10 · 666 阅读 · 0 评论 -
开源数据集
遇到哪个加哪个NLPSTSSTS中的训练、测试、验证集的数量,语义文本相似性基准数据集,常用于无监督模型训练的测试集,使用Spearman correlation作为评价指标。STS-B http://ixa2.si.ehu.eus/stswiki/index.php/STSbenchmarkmain-captionsMSRvid2012test00005.000A man with a hard hat is dancing.A man wearin原创 2022-01-04 16:20:17 · 700 阅读 · 0 评论 -
ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding
论文目的SimCSE 使用dropout作为数据增强的最小方法,因为transformer使用位置embedding,句子的长度信息会被编码到句子embedding中,所以unsup-SimCSE的正对包含相同的长度信息。所以unsup-SimCSE训练的正样本对估计是有偏的,会倾向于将有相同或类似长度的句子是相似的,通过统计观察,发现unsup-SimCSE的确有这个问题。为了缓解它,使用一个简单的重复操作来修改句子,然后将句子和修改后的句子输入transformer来得到正对,且从CV中引入momen原创 2022-01-04 14:46:08 · 1026 阅读 · 0 评论 -
R-Drop: Regularized Dropout for Neural Networks
论文目的dropout会给训练和测试的过程中带来不一致,regularize dropout 简单的一致性训练策略,迫使dropout产生的子模型输出分布一致,这是通过约束每个样本两个子模型的输出的双向KL散度来达到的。在 neural machine translation, abstractive summarization, language understanding, language modeling, and image classification五个任务上做了实验。方法R-Drop原创 2021-12-31 15:54:17 · 1024 阅读 · 0 评论 -
SimCSE: Simple Contrastive Learning of Sentence Embeddings
论文目的SimCSE:simple contrastive sentence embedding framework首先提出一种无监督的方法,仅使用dropout作为噪声,进行对比训练。与有监督的方法效果类似,dropout充当了最小的数据增强的方法,删除它模型会崩溃。然后提出一种有监督的方法,使用自然语言推理(NLI)中的蕴含作为正对、矛盾作为负例,在STS任务上评估SimCSE,在无监督和有监督的任务上都有提升。还在理论和试验上证明了对比学习目标将预训练嵌入的各向异性空间正则化,使其更加均匀。原创 2021-12-24 18:00:12 · 1805 阅读 · 0 评论 -
Simple Contrastive Representation Adversarial Learning for NLP Tasks
这里写自定义目录标题论文目的相关工作contrastive learningAdversarial Training and Adversarial Attack本文方法Adversarial Training And Adversarial Attack MethodsSelf-supervised Contrastive LearningSupervised Contrastive Adversarial LearningUnsupervised Contrastive Adversarial Lear原创 2021-12-24 15:35:49 · 2087 阅读 · 4 评论 -
attention
seq2seq_3翻译 2021-02-02 17:47:17 · 86 阅读 · 0 评论 -
XLNet
XLNet:Generalized Autogressive Pretraining for Language Understanding摘要类似于Bert基于上下文进行建模的DAE(denoising autoencoding)的预训练模型比基于AR(autoRegressive)的语言模型得到了更好的效果。然而,Bert乎是了mask之间的依赖关系,并且预训练和微调之间的不一致(微调的时候没有mask),基于这样的优缺点,我们提出XLNet,通过最大化排列组合的因式分解的极大似然估计学习上下文的信息原创 2021-01-19 17:02:17 · 183 阅读 · 0 评论 -
FastBert
FastBert:a self-distilling bert with adaptive inference time摘要类似Bert的预训练语言模型已经被证明有很好的效果,但是计算昂贵,模型很难加载。Fastbert在微调时使用自适应机制,确保模型性能的前提下,提高效率,根据不同需求,灵活调整速度,同时避免了样本的冗余计算。1. introduction在未标注的文本上预训练,标注的样本上进行微调,预训练模型Bert、gpt、xlnet在很多nlp任务上有了很大的效果提升。缺点:计算量大、推原创 2021-01-06 10:54:34 · 947 阅读 · 0 评论