[学习笔记]刘知远团队大模型技术与交叉应用L6-基于大模型文本理解和生成介绍

已于 2024-02-04 10:56:17 修改
阅读量492 收藏 6
点赞数 8
分类专栏： 深度学习 读书笔记 文章标签： 语言模型
于 2024-02-02 15:05:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangyifeng_1995/article/details/135911511
版权
本文介绍了NLP的下游应用，包括NLU和NLG，着重探讨了大模型在信息检索、机器问答和文本生成中的应用，如Cross-Encoder和Dual-Encoder架构，以及传统方法如BM25和神经网络方法面临的挑战。文章还提及了预训练、强化学习筛选和跨领域迁移等前沿热点。
摘要由CSDN通过智能技术生成

介绍

NLP的下游运用可以分为：NLU(理解)和NLG(生成)
信息检索：NLU
文本生成：NLG
机器问答：NLU+NLG
在这里插入图片描述

大模型在信息检索

在这里插入图片描述
在这里插入图片描述

大模型在机器问答

在这里插入图片描述

大模型在文本生成

在这里插入图片描述

信息检索-Information Retrieval (IR)

背景

谷歌搜索引擎目前同时集成了文档排序和问答系统。

在这里插入图片描述

定义和评测

如何定义IR任务

IR系统分为两个阶段：
Retrieval阶段：对整个文档库排序后，抽回一部分相关文档的子集。主要考虑召回率。
Re-Rankink阶段：精排序

在这里插入图片描述

如何评测

IR中常用的评价指标为MRR、MAP、NDCG

平均倒数排名-MRR

只会考虑排名最靠前的相关文档的排名
在这里插入图片描述

平均准确率-MAP

会考虑所有相关文档。
在这里插入图片描述

归一化的折损累计增益-NDCG

这个指标是商业的搜索引擎或是推荐系统中最常用的评价指标。
前两个指标抽回的文档只有相关和不相关两个等级。NDCG有更细粒度的相关等级划分。
在这里插入图片描述

传统方法

BM25

BM25是一种典型的基于词汇匹配的IR方法。
其中k和b是可调节的超参数。
tf是词频：query中的每个词在文档中出现的频率。
idf是逆文档的频率：评估查询中的一个词汇在所有文档中常见或稀缺的程度。例如一个查询词在所有文档中都常见，则idf分数会很低。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

存在的问题-词汇失配

在这里插入图片描述

存在的问题-语义失配

在这里插入图片描述

神经网络方法-大模型

下面介绍两种架构：Cross-Encoder，Dual-Encoder

Neural IR

在Re-ranking阶段主要使用cross-encoder架构：query和doc进行词汇级别的拼接，然后喂给大模型。经过大模型之后生成q-d的表示，最后得到相关性分数。
好处是：精细，效果好。
缺点是：计算代价高。

在Retrieval阶段主要使用Dual-encoder架构：使用双塔架构，对query和doc分别进行编码，经过大模型，形成两个独立向量，再去计算向量的相似性。
好处是：计算开销较小。
在这里插入图片描述

Cross-Encoder

在这里插入图片描述
在这里插入图片描述

Dual-Encoder

在这里插入图片描述
Dual-Encoder的好处是，因为是分开编码的。所以可以对整个文档库提前编码好，将其向量存起来。有新的query进来，只需要编码query，然后用最近邻找到相关的文档。

在这里插入图片描述
在这里插入图片描述

前沿热点

Fine-tuning中的负例增强

in-batch negative：同一batch的正例可以作为其他query的负例
random negative：随机从文档库中采样，作为负例
BM25 negative：先用BM25针对每个query抽回一些top k文档，再把相关的删除，剩余就是不相关的。
在这里插入图片描述
下面介绍一篇ICLR2021的工作：训练过程中，使用模型本身去挖掘更难的负样本。
具体地，在模型训练过程中，异步维护一个inferencer的程序。每隔k步将最新的模型拿去做inference，把排名靠前的难负样本抽回来。再加到新的一轮训练中，不断迭代。

在这里插入图片描述
在这里插入图片描述
RocketQA引入了建模更精细的Cross-Encoder帮助Dual-Encoder筛选难负例，再加到Dual-encoder的训练中。
在这里插入图片描述

预训练阶段

为encoder配置弱的decoder，迫使中间的cls token具有更强的表达能力。

在这里插入图片描述

Few-Shot IR

有些网页天然缺乏用户的点击，用户的监督。
有一些涉及到隐私的个人检索，企业检索，他们的数据无法公开获得。
在医学和法律的检索领域，人工标注比较昂贵。
在这里插入图片描述
所以一部分研究是考虑如何用弱监督的数据去取代监督数据。生成弱监督数据的方式可以包含，titile和文档组成的q-d对，锚文本和文档组成的q-d对，文档和相应大语言生成q-d对。

在这里插入图片描述
弱监督数据的筛选：
但这些弱监督数据没有经过人工标注，可能存在噪声。于是可以经过筛选，具体的，通过训练和反馈的方式构建强化学习过程。
在这里插入图片描述
另一种方法是：meta-learning数据筛选
在这里插入图片描述

Zero-shot IR

训练好一个大模型之后，直接迁移到其他领域。

在这里插入图片描述

其他课题

  • 对话检索
  • 如何检索长文档
    在这里插入图片描述

机器问答

介绍

主要的机器问答类型：机器阅读理解、开放域问答、基于知识库问答、对话式QA

在这里插入图片描述

机器阅读理解

任务定义

在这里插入图片描述

  • 完形填空
    在这里插入图片描述
  • 多选
    在这里插入图片描述
  • 抽取式阅读理解(原文找答案)
    在这里插入图片描述

经典方法和pipeline

1.文档和问题分别进行编码
2.汇成一个向量
3.文章和问题进行交互
4.融合后的向量通过MLP来进行预测

在这里插入图片描述
实例：BiDAF
在这里插入图片描述

大模型方法

只需要大模型就可以将前三层直接替代

在这里插入图片描述
基于bert的问答系统
将问题和doc输入到bert中，再拿cls embedding出来，然后进行分类任务
在这里插入图片描述
在SQuAD这个非常流行的抽取式QA数据集上，只用bert就取得了很好的成绩。

在这里插入图片描述
除了简化了pipeline，大模型用于QA的另一个好处是可以统一不同任务的形式，统一为text to text的形式。这保证了迁移性。
在这里插入图片描述

开放式QA

有语料库，但是没有具体的文档。开放式QA有两种类型：生成式方法、检索式的方法

生成式方法

在这里插入图片描述
在这里插入图片描述

检索式方法

在这里插入图片描述

大模型之前

检索
在这里插入图片描述
阅读理解
在这里插入图片描述

大模型方法

如何用检索来辅助大模型的预训练过程。让大模型在下游的机器问答环节中表现更好。
REALM在预训练过程中也加入检索任务。相当于把预训练也当成开放式QA的任务，在预训练时，同时训练大模型和知识的检索器。

在这里插入图片描述
让大模型根据检索到的语料库来回答答案。
在这里插入图片描述

WebGPT

在这里插入图片描述
在这里插入图片描述

文本生成

介绍

data-to-text: 可以把一些非语言性的表示的信息，通过模型，以人类可以理解的语言表示出来。
text-to-text

在这里插入图片描述

文本生成任务

在这里插入图片描述

Data-to-Text

在这里插入图片描述

对话生成

在这里插入图片描述

机器翻译

在这里插入图片描述

诗歌生成

在这里插入图片描述

风格转义

在这里插入图片描述

故事生成

在这里插入图片描述

总结生成

在这里插入图片描述

神经网络文本生成

语言建模-Language Modeling

在这里插入图片描述

有条件的语言建模

在这里插入图片描述
例子：seq2seq

在这里插入图片描述
在这里插入图片描述

比较知名的模型：T5

在这里插入图片描述
T5是在一个被清洗过的爬取的数据集上训练的。输入时，会将其中一部分mask，
在这里插入图片描述

自回归的生成

在这里插入图片描述
经典的模型：GPT
在这里插入图片描述
GPT-2

在这里插入图片描述

非自回归的生成

在这里插入图片描述
非自回归的生成，可以一下子同时生成文本。
在这里插入图片描述

解码策略

模型得到的是概率。如何将概率解码得到文本。

贪心编码-Greedy Decoding

选择概率最大的token。
但是可读性可能比较差。
在这里插入图片描述

Beam Search Decoding

寻找一个子序列。但这样只是获得了局部的最优解，并不一定是全局的。
在这里插入图片描述
过程演示：
在这里插入图片描述
参数k很重要。
增大k的话，会生成更通用，但是和input text更无关的句子。
在这里插入图片描述
在这里插入图片描述

Sampling-based Decoding
  • Pure sampling：随机从词表选token，对于概率大的词以较大概率去选。模型的多样性会大大增加。

为了防止一些概率很小的词出现，又引入top-n和top-p来限制模型生成的范围。

  • Top-n sampling：不是在整个词表上采样，而是在n个最有可能概率的词上采样。
  • Top-p sampling：首先是概率最大的token，而且这些token的概率加起来大于等于阈值p

在这里插入图片描述

  • Sampling with temperature
    送入softmax之前会除以一个temperature。不同的temperature对应的是不同的生成策略。
    t高，则生成的文本更多样。
    t低，则生成的文本更相关。

在这里插入图片描述

受控文本生成

如何保持文本控制性和文本质量是一种重要课题。

Prompt methods
  • 文本前面加prompt
    在这里插入图片描述
  • 模型前面加prefix
    在这里插入图片描述
修改概率分布

除了基础模型，还会训练两个模型：生成非歧视文本的天使LM，生成有歧视文本的恶魔LM。
生成的时候希望生成语言的概率贴近天使模型，而去远离恶魔模型。
在这里插入图片描述

修改模型结构

在这里插入图片描述

文本生成测评

通用度量

  • BLEU
    生成的文本有多少与金标准的文本是类似的。BP是对短句的惩罚。我们希望尽量生成长句。

  • PPL
    在测试集上进行计算，会去验证模型有多大概率生成某个sample。PPL越低越好。

在这里插入图片描述

翻译和总结的通用度量

在这里插入图片描述

其他度量

在这里插入图片描述

文本生成的挑战

  • 在训练和模型策略上
    总是生成重复的词
    在seq2seq中，teacher forcing会引入一些exposure bias。

  • 逻辑一致性
    缺少逻辑一致性

  • 控制性
    很难保证有很好的控制性和很好的语言质量

  • 评估
    合理的度量和数据集
    在这里插入图片描述

N刻后告诉你
关注
  • 8
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大规模社会媒体谣言分析与辟谣技术-刘知远
10-25
清华大学自然语言处理与计算社会科学实验室的刘知远的PPT大规模社会媒体谣言分析与辟谣技术
大规模知识图谱的表示学习趋势与挑战_刘知远
11-23
第三届全国中文知识图谱研讨会，清华大学自然语言处理实验室刘知远演讲PPT，《大规模知识图谱的表示学习 趋势与挑战》
刘知远团队大模型公开课笔记汇总【持续更新中】
m0_52784465的博客
04-23 294
清华大学大模型公开课
刘知远大模型学习笔记-Delta Tuning
jennieg的博客
03-27 346
Prompt Learning对于位置任务不太适用，但是认为可以用于多模态。也就是图片与文本理解。Delta Tuning核心思想：绝大多数参数不变，只微调一小部分模型，优化特别少参数。也就是把解决任务抽象为一小部分参数（Delta Objects）。有了预训练大模型，这类方法才有用。分类：Addition，增量式；Specification，指定式；Reparameterization，重参数化式（现在超级常用的LoRA)。提示：以下是本篇文章正文内容，下面案例可供参考。
【AI学习】RAG与推荐系统
bylander的博客
04-25 882
推荐系统和RAG（Retrieval-Augmented Generation）确实在某些方面有相似之处，尤其是在处理信息检索和生成任务时
[学习笔记]刘知远团队大模型技术与交叉应用L2-Neural Network Basics
zhangyifeng_1995的博客
01-14 924
本节首先介绍神经网络的一些基本构成部分。然后简要介绍神经网络的训练方式。介绍一种基于神经网络的形成词汇的向量表示的方法。接下来继续介绍常见的神经网络结构：RNN和CNN。最后使用PyTorch演示一个NLP任务的一个完整训练的Pipeline。
Dual-Cross-Encoder：面向稠密向量检索的Query深度交互的文档多视角表征
zenRRan的博客
08-17 651
每天给你送来NLP技术干货！来自：NLP工作站写在前面大家好，我是刘聪NLP。今天给大家带来一篇北航和微软出品的稠密向量检索模型Dual-Cross-Encoder，结合Query生成和对比学习技术，将文档与生成的不同伪query进行深度交互学习构建文档的不同视角的表征向量，再与Query向量进行稠密向量检索。论文名为《Learning Diverse Document Representatio...
Meta最新推荐算法：统一的生成式推荐第一次打败了分层架构的深度推荐系统？...
Kaiyuan_sjtu的博客
03-15 188
后台留言『交流』，加入NewBee讨论组大家好，这里是 NewBeeNLP。今天看看Meta的最新推荐算法论文，“统一的生成式推荐”(GR) 第一次在核心产品线替换掉了近十年推荐工业界长期使用的分层海量特征的模型范式。地址：https://arxiv.org/pdf/2402.17152.pdf作者：萧瑟链接：https://www.zhihu.com/question/646766849/ans...
知识表示及其应用-刘知远
10-25
清华大学自然语言处理实验室刘知远在SMP 2016的PPT知识表示及其应用
语义表示学习-刘知远
10-25
清华大学自然语言处理实验室刘知远在中国中文信息学会 第十三届暑期学校 &前沿技术讲习班的PPT语义表示学习
[学习笔记]刘知远团队大模型技术与交叉应用L5-BMSystem
zhangyifeng_1995的博客
01-28 906
表现：高效，便宜使用时只需要进行简单替换。介绍大规模预训练模型压缩的相关技术。以及相关工具包BMCook。下表是PLMs模型增长的趋势。如何将大规模的计算量降下来，同时保留PLMs学习到的能力。所以希望将大规模模型压缩。同时小模型基本上继承大模型的能力。有效的方法可能包括：知识蒸馏；模型剪枝；模型量化；模型的专家化现在的PLMs是十分过参数化的。有一些方法被用于提高模型效率。BMCook是一个工具包。它的目的是结合已有的有效的模型压缩方法，加速现有大规模模型。
[学习笔记]刘知远团队大模型技术与交叉应用L3-Transformer_and_PLMs
zhangyifeng_1995的博客
01-21 558
BPE提出主要是为了解决OOV的问题：会出现一些在词表中没有出现过的词。
前沿重器[43] | 谷歌中科院新文：CRAG-可矫正的检索增强生成
baidu_25854831的博客
02-25 1041
前沿重器栏目主要给大家分享各种大厂、顶会的论文和分享，从中抽取关键精华的部分和大家分享，和大家一起把握前沿技术。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。（算起来，专项启动已经是20年的事了！）2023年文章合集发布了！在这里：又添十万字-CS的陋室2023年文章合集来袭往期回顾前沿重器[38] | 微软新文query2doc：用大模型做query检索拓展前沿重器[39] | 对话式推荐...
Chat-REC、InstructRec（LLM大模型用于推荐系统）
热门推荐
nakaizura
04-06 1万+
虽然大型语言模型LLM已经证明了它们用于解决各种应用任务的巨大潜力，但它和推荐系统的结合点在哪？ * 推荐系统旨在根据用户的偏好和行为向用户推荐项目。传统上，这些系统都依赖于用户数据，如点击流和购买历史等等。 * NLP在扩大推荐系统用户数据的范围方面是有价值的。比如NLP技术可以用于分析用户生成的内容，如评论和社交媒体帖子，以深入了解用户的偏好和兴趣，提高整体用户体验和参与度。
生成式信息检索（问答系统与信息检索的进步）
最新发布
lt5227的博客
07-11 693
问答系统的发展经历了从基本检索系统到利用深度学习模型的复杂问答系统的演变。这些系统通过使用词嵌入、预训练语言模型和向量数据库来改善信息的检索和生成。最新的技术如可微搜索索引（DSI）和生成式检索方法在提供精准答案的同时，面临诸如遗忘问题和扩展性挑战。同时，开放式生成问答系统如REALM和RAG利用外部记忆来提高回答质量，展示了在处理开放域问题时的优势。这些系统的设计不仅关注效率，还强调答案的准确性和来源的透明度，旨在优化用户体验并减少信息检索的成本。
揭秘可解释推荐系统：知其然，知其所以然
chaishen10000的专栏
09-24 734
【导读】单纯的推荐结果和推荐结果+理由的组合，哪个更让你信服？长篇累牍的推荐语和言简意赅的关键词，你更愿意看哪个？这是人们每天都会面对的场景，也是可解释推荐系统研究需要不断优化的问题。 近几年，人工智能的可解释性问题受到了来自政府、工业界和学术界的广泛关注。美国国防部先进研究项目局DARPA资助了可解释性人工智能项目XAI（Explainable AI）；中国国务院在《新一代人工智能规划》中提出的“实现具备高可解释性、强泛化能力的人工智能”目标，得到了各个公司的积极响应；ICML 2017年的最佳论文《U
NLP精选10个实现项目推荐-涉及预训练、知识图谱、智能问答、机器翻译、对话等...
weixin_36896856的博客
10-25 3108
自然语言处理技术近几年发展非常快，像BERT、GPT-3、图神经网络、知识图谱等技术被大量应用于项目实践中。今年大厂的NLP面试中对项目方面的考察深度也随之提升了很多，经常会被面试官揪着细...
认知智能大门企业如何构建NLP能力
02-14
NLP (Natural Language Processing,自然语言处理)是Al的子领域，同时涉及语言学和计算机科学，被比尔·盖茨称作“Al领域皇冠上的明珠”。微软全球执行副总裁沈向洋认为在Al领域“得语言者得天下”。OpenAl(2015年成立的一家人工智能公司)开放了GPT-3的访问接口，它可以根据描述生成HTML布局和代码、创建UI设计、生成机器学习代码，将口语化描述转化为法律语言， 甚至可以根据关键词进行文学作品的创作，让人们体验到Al的强大之处。 在中国新基建背景下，NLP将迎来更快发展。以Al为代表的新技术基础设施将进一步支撑传统基础设施转型升级。NLP作为Al的核心技术之一，已经成为企业在认知智能时代实现转型升级的关键。 清华大学刘知远教授认为，当今深度学习和知识图谱是NLP技术发展的两大引擎。深度学习技术能够让计算机具备思考的能力。知识图谱能够提供计算机进行思考的知识基础。在知识图谱加持下，计算机已经能进行简单的知识推理和认知,在智能问答、智能搜索和智能风控等方面崭露头角。融合知识图谱的NLP技术已经打开了计算机实现认知智能的大门。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值