先看下简单的情感分类示例 : 基于prompt learning的情感分类示例代码_znsoft的博客-CSDN博客
NLP 目前为止经历了四个阶段:
1. 完全监督机器学习
2. 完全监督深度神经网络
3. 预训练模型微调阶段: 预训练-> 微调
4. prompt 提示学习阶段: 预训练-> 提示-> 预测
第1,2阶段大家非常熟悉,第3阶段也有所了解,第4阶段是啥?
相对于第3阶段,第4阶段解决的是通过提示方法,修改下游任务来适应预训练模型。
在第三阶段,我们会的招式是 fine-tuning, 讲白了是微调语言模型来适应下游任务的变化 。在第四阶段,我们要反过来图之,采用改造下游任务来适应语言模型。
为什么会有如此想法? 当我们用GPT 3等巨量模型来进行下游任务时,潜意识中我们还是会想着改造语言模型来适应下游任务。毕竟,用少量语料微调来搞事,成本低见效快。但是,但是,遇到gpt 3这样的海量模型,你还fine tuning得动吗? 想想你那可怜的显卡。
革命家告诉我们:敌动我不动,敌不动我动。既然 敌人不能动,那就我自己来动,改造自己,适应敌人岂不更好?这就是prompt 提示学习的精华。
具体步骤:
prompt 框架:
术语解释:
PLM : 预训练模型模型,知识来源,可以是普通 的LM, 也可以是masked LM, 如bert.
template: 模型,提示信息形成的模板
verbalizer: 标签映射器,用于将提示获得的标签词转换成标签,比如将 happy转换为 negative.
可能的研究方向:
在提示学习的任何可人工干预的阶段都可以添加外部知识进行处理。
1 提示模板生成 ,包括自动生成,外部知识扩展
2.性能改进。 提示模板在通常情况下可能是自然语言,但是实际上是可以激发语言模型的所有标志词,可以自动生成与选择。