使用清华的prompt learning 框架openprompt 中发行一个奇怪的现象: 使用官方的测试程序可以在某数据集上达到65.98%的 准确率,但是我自己写的程序只有56%,相差竟然有10个百分点。检查了一圈数据及代码,没有发现差异点。
经过两天的排查,查输入数据异同,查代码,最后发现:openprompt的模板要求第一个字符必须是空格才可以,否则准确率显著下降。
注意图中A前面有一个字空格。如果没有,则问题显然。经过调查发现,空格在prompt learing的template中有重要作用,前后导空格皆可能影响效果,请注意。