prompt learning, 提示学习中的soft prompt和hard prompt

在提示学习中，最重要的就是编写或获得一个好的提示，在这个过程中发展出了两个概念：

hard prompt

soft prompt

字面上讲，hard prompt就是由具体的中文或英文词汇组成提示，它是人工可读的提示。

soft prompt提示是在向量空间优化出来的提示，从一个hard prompt开始（初始化）通过梯度搜索之类的方式进行优化，不改变原始的提示向量的数量和位置，在它的空间进行搜索。

大白话： hard prompt 人可以读的提示，是一段人工可阅读的描述或者单词组合。

soft prompt 通过hard prompt方式初始化（即用人工可阅读的单词序列初始化），然后通过向量空间连续优化得到新的提示。

以下文字引用自网上：

Prompt的形状

Prompt的形状主要指的是 和 的位置和数量。上文提到过cloze prompt和prefix prompt的区别，在实际应用过程中选择哪一种主要取决于任务的形式和模型的类别。cloze prompts和Masked Language Model的训练方式非常类似，因此对于使用MLM的任务来说cloze prompts更加合适；对于生成任务来说，或者使用自回归LM解决的任务，prefix prompts就会更加合适；Full text reconstruction models较为通用，因此两种prompt均适用。另外，对于文本对的分类，prompt模板通常要给输入预留两个空， 和 。

手工设计模板

Prompt最开始就是从手工设计模板开始的。手工设计一般基于人类的自然语言知识，力求得到语义流畅且高效的模板。例如，Petroni等人在著名的LAMA数据集中为知识探针任务手工设计了cloze templates；Brown等人为问答、翻译和探针等任务设计了prefix templates。手工设计模板的好处是较为直观，但缺点是需要很多实验、经验以及语言专业知识，代价较大。

自动学习模板

为了解决手工设计模板的缺点，许多研究开始探究如何自动学习到合适的模板。自动学习的模板又可以分为离散（Discrete Prompts）和连续（Continuous Prompts）两大类。离散的主要包括 Prompt Mining, Prompt Paraphrasing, Gradient-based Search, Prompt Generation 和 Prompt Scoring；连续的则主要包括Prefix Tuning, Tuning Initialized with Discrete Prompts 和 Hard-Soft Prompt Hybrid Tuning。