prompt learning 术语中文翻译

已于 2022-08-29 16:12:02 修改
阅读量285 收藏
点赞数
分类专栏： 提示学习prompt 文章标签： pytorch
于 2022-08-28 11:08:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/znsoft/article/details/126567624
版权

MLM: 掩码型语言模型

prompt template:  提示模板

label words: 标签词

category/class label： 类别标签

verbalizer: 类映射器，  用于将标签词映射到对应类别标签的一种机制或程序

znsoft
关注
专栏目录
【ChatGPT】实用 Prompt 指令大全 —— 一文教你如何更好地挖掘 GPT 的价值
AI天才研究院
04-15 2万+
ChatGPT 是由 OpenAI 开发的一种先进的大型语言生成模型，能够理解和生成准确、自然且连贯的文本。文本生成数据分析内容审核语义理解自然语言推理以及其他众多任务ChatGPT是一种基于GPT-3.5架构的大型语言模型，由OpenAI公司开发。该模型在自然语言处理领域有着广泛的应用，可以用于文本生成、文本分类、情感分析、问答系统等任务。本文将从模型的架构、训练方式、优缺点等方面对ChatGPT进行详细介绍。一、模型架构。
Prompt Learning详解
热门推荐
m0_53292725的博客
04-15 1万+
现阶段NLP最火的两个idea 一个是对比学习（contrastive learning） 另一个就是 prompt prompt 说简单也很简单 看了几篇论文之后发现其实就是构建一个语言模板 但是仔细想想又觉得复杂 总感觉里面还有很多细节 因此我想从头到尾梳理一下prompt 很多地方会把它翻译成[范式] 但是这个词本身不好理解 我个人更倾向于看作是模板 首先我们要知道预训练模型（Bert为首）到底做了什么？ 我觉得是预训练模型提供了一个非常好的初始化参数 这组参数在预训练任务上的表现非常好（预训.
LLM：提示学习Prompt Learning
皮皮blog
04-23 6174
Pre-training + Fine-tuning 模式：先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PLM）（e.g. GPT、EMLO、BERT），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。缺陷：在大多数的下游任务微调时，下游任务的目标与预训练的目标差距过大导致提升效果不明显，微调过程中依赖大量的监督语料等。
LAMM: Label Alignment for Multi-Modal Prompt Learning
buyaotutou的博客
08-14 1189
文章链接LAMM：多模态提示学习的标签对齐With the success of pre-trained visual-language (VL) models such as CLIP in visual representation tasks, transferring pre-trained models to downstream tasks has become a crucial paradigm. Recently, the prompt tuning paradigm, which dra
万字详解提示学习（Prompt Learning ）和微调 （Prompt Tuning）
Kaiyuan_sjtu的博客
01-05 4362
作者：爱吃牛油果的璐璐，北京大学电子与通信工程硕士后台留言『交流』，加入 NewBee讨论组前言Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星。得益于全局的注意力机制和并行化的训练，基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系，同时在大规模自然语言数据集上并行训练成为可能。但由于自然语言任务种类繁多，且任务之间的差别不...
prompt learning 提示学习初步心得及示例 代码
znsoft的专栏
01-03 5738
NLP 目前为止经历了四个阶段： 1. 完全监督机器学习 2. 完全监督深度神经网络 3. 预训练模型微调阶段： 预训练-> 微调 4. prompt 提示学习阶段： 预训练-> 提示-> 预测 第1,2阶段大家非常熟悉，第3阶段也有所了解，第4阶段是啥？ 相对于第3阶段，第4阶段解决的是通过提示方法，修改下游任务来适应预训练模型。 在第三阶段，我们会的招式是 fine-tuning, 讲白了是微调语言模型来适应下游任务的变化 。在第四阶段，我们要反过来图之，采用改造
万字长文之提示学习和微调大模型（Prompt Learning & Prompt Tuning）
python122_的博客
08-08 1133
Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星。得益于全局的注意力机制和并行化的训练，基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系，同时在大规模自然语言数据集上并行训练成为可能。但由于自然语言任务种类繁多，且任务之间的差别不太大，所以为每个任务单独微调一份大模型很不划算。关于Self-Attention 和 Transformer的详细介绍可以参考以下文章：爱吃牛油果的璐璐：transformer的全面解析。
Zero-Shot Rumor Detection with Propagation Structure via Prompt Learning（论文解读）
杨柳岸的博客
01-25 1535
提出了一种基于提示的方法，避免依赖于特定语言的谣言提示工程，采用有效的响应融合策略，将有影响力和结构传播线索纳入领域适应。并在三个现实世界的基准测试上的结果证实了我们零样本检测模型的优势。
Hypergraph Enhanced Knowledge Tree Prompt Learning for Next-Basket Recommendation
步子哥的博客
12-28 398
论文提出了基于频率的门控机制。A: 这篇论文提出了一种新的方法HEKP4NBR来解决下述问题：1. 将知识图谱(KG)转化为提示(Prompt),即知识树提示(KTP),帮助预训练语言模型(PLM)编码用户篮子序列中的未知词汇(OOV)物品ID。为了解决这些挑战，论文提出了一种新的方法HEKP4NBR，它将知识图谱（KG）转化为提示（prompt），即知识树提示（Knowledge Tree Prompt, KTP），以帮助预训练语言模型（PLM）编码用户篮子序列中的未知词汇（OOV）物品ID。
提示学习（prompt learning)核心工作原理指南，兼实现代码理解。提示学习三个层面的本质解释。
znsoft的专栏
04-13 5343
下文我们从三个层面描述提示学习的本质，包括原理和具体实作方式。 战略级描述（其实就是宏观叙事） 提示学习是利用模板激发预训练语言模板如（bert/bert)之类模型中的事实性知识（factual knowledge)， 然后在将得到的事实性知识作为答案空间，映射到目标空间从而完成需要的下游任务。 战术级描述（其实就是基本手法描述） 通常我们是将 需要处理的文本原文加上提示性模板（模板工程）一起输入预训练模板中，然后将得到的答案（即通过模板激发出来的知识的所组成的空间称为答案空间），将答案通过
大模型术语表
weixin_43961909的博客
08-02 169
受人脑结构启发的计算模型，用于处复杂的机器学习任务：它由相互连的神经元层组成，通过加权连来转换输入据：一些类型的人工神经网络（如循环神经网络）可用于处理具有记忆元素的顺序数据，而其他类型的人工神经网络（如基于Transformer架构的模型）则使用注意力机制来衡量不同输入的重要性。一般而言，模型的参数越多，它的学习能力和处理复杂数据的能力就越强。OpenAI开发的一项功能，它允许开发人员在调用GPT模型的API时，描述函数并让模型智能地输出一个包含调用这些函数所需参数的JSON对象。
探索更灵活、更智能的LLM交互方式：减少对 Prompt Engineering 依赖
AI天才研究院
10-26 278
在人工智能和自然语言处理领域,大型语言模型(Large Language Models, LLMs)的出现引发了一场技术革命。像GPT-3、BERT和T5这样的模型展现出了惊人的语言理解和生成能力,为各种应用场景带来了新的可能性。然而,有效利用这些强大模型的关键在于如何与它们进行交互。传统上,与LLM交互主要依赖于精心设计的提示(Prompts)。这种方法被称为"Prompt Engineering",它要求用户或开发者精心构造输入文本,以引导模型产生期望的输出。
knn prompt
08-20
此外，在GPT3模型中，"In-Context Learning"和"Chain-Of-Thought"是与prompt相关的概念。 关于"KNN prompt"，引用中未提到这个具体术语。如果您有其他相关的信息或背景，请提供更多的上下文，我将尽力帮助您。...
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（三）Proximal Policy Optimization
段智华的博客
04-28 171
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（三）Proximal Policy Optimization这是一个基本示例，展示了如何使用库中的PPOTrainer。基于一个查询，语言模型创建一个响应，然后对该响应进行评估。评估可以是人类参与的过程，或者是另一个模型的输出。 这段代码是一个使用Proximal Policy Optimization算法来训练一个基于 GPT-2 模型的强化学习示例。
AI实践-PyTorch-CNN-手写数字识别
最新发布
深度安全实验室
10-31 194
AI实践-PyTorch-CNN-手写数字识别
「Pytorch」如何理解深度学习中的算子(operator)
绿色羽毛
10-28 994
在深度学习中，算子是实现各种计算和转换的基本单位，理解这些算子的性质和作用对于设计和优化深度学习模型至关重要。不同的算子不仅构成了模型的结构，还决定了模型的性能和效率。PyTorch 官方文档PyTorch GitHub 仓库。
kan代码阅读
m0_68339197的博客
10-28 918
定义了一个名为to的方法，它接受一个参数device。这个方法用于将模型的所有参数和缓冲区移动到指定的设备上，这个设备可以是CPU或者GPU。使用super()调用父类（这里是nn.Module）的to方法，并将当前实例self和device参数传递给它。这行代码的作用是将当前模型（MLP的实例）的所有参数和缓冲区移动到指定的device上。这行代码将device参数的值赋给实例变量。这样做是为了在后续的操作中可以引用这个设备，比如在模型的其他方法中使用这个设备来创建或操作张量。这行代码返回了。
Windows WSL环境下安装 pytorch +ROCM 支持AMD显卡
znsoft的专栏
10-28 227
windows 下安装WSL 环境( windows subsystem for Linux), 安装ubuntu 22.04环境。安装好后，创建pytorch环境，注意，只支持python 3.10。三、安装pytorch+rocm。安装pytorch +rocm。二、安装anaconda。
第N5周：Pytorch文本分类入门
a536723241的博客
10-31 260
文本分类常见流程为准备好原始文本：AG News是广泛用来进行文本分类的数据集文本清洗：AG News属于已经清洗好的数据集分词：torchtext库的get_tokenizer()是用于将文本数据分词的函数，它返回一个分词器函数，可以将一个字符串转换为一个单词的列表文本向量化：其实就是上周的词嵌入过程，这里使用EmbeddingBag方式进行嵌入，将离散的单词映射为固定大小的连续向量。这些向量能较好地捕捉单词间的语义关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值