本文介绍了NLP的四个阶段，重点讲解了prompt提示学习阶段，即通过修改下游任务来适应预训练模型，以解决大规模模型如GPT3的微调难题。prompt框架包括模板、提示信息和标签映射器。研究方向涉及提示模板生成和性能改进。博客推荐了鹏飞大神的Pre-train, Prompt, and Predict综述。
先看下简单的情感分类示例 ： 基于prompt learning的情感分类示例代码_znsoft的博客-CSDN博客
NLP 目前为止经历了四个阶段：
1. 完全监督机器学习
2. 完全监督深度神经网络
3. 预训练模型微调阶段： 预训练-> 微调
4. prompt 提示学习阶段： 预训练-> 提示-> 预测
第1,2阶段大家非常熟悉，第3阶段也有所了解，第4阶段是啥？
相对于第3阶段，第4阶段解决的是通过提示方法，修改下游任务来适应预训练模型。
在第三阶段，我们会的招式是 fine-tuning, 讲白了是微调语言模型来适应下游任务的变化 。在第四阶段，我们要反过来图之，采用改造下游任务来适应语言模型。
为什么会有如此想法？ 当我们用GPT 3等巨量模型来进行下游任务时，潜意识中我们还是会想着改造语言模型来适应下游任务。毕竟，用少量语料微调来搞事，成本低见效快。但是，但是，遇到gpt 3这样的海量模型，你还fine tuning得动吗？ 想想你那可怜的显卡。
革命家告诉我们：敌动我不动，敌不动我动。既然 敌人不能动，那就我自己来动，改造自己，适应敌人岂不更好？这就是prompt 提示学习的精华。
具体步骤：
prompt 框架：
术语解释：
PLM ： 预训练模型模型，知识来源,可以是普通 的LM, 也可以是masked LM, 如bert.
template: 模型，提示信息形成的模板
verbalizer: 标签映射器，用于将提示获得的标签词转换成标签，比如将 happy转换为 negative.
可能的研究方向：
在提示学习的任何可人工干预的阶段都可以添加外部知识进行处理。
1 提示模板生成 ,包括自动生成，外部知识扩展
2.性能改进。 提示模板在通常情况下可能是自然语言，但是实际上是可以激发语言模型的所有标志词，可以自动生成与选择。
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
