Struct BERT论文解读

STRUCTBERT: INCORPORATING LANGUAGE STRUCTURES
INTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING

这里是对 Struct BERT 的解读，纯属个人理解
这篇文章是阿里达摩院在ICLR 发布的文章

模型的动机我认为就是在 一个句子中，单词的顺序并不影响对句子的理解
作者对BERT 的修改主要有两个部分
MLM: 在未被MASK 的单词中选取trigrams，然后随机打乱，LM的目标是预测正确的顺序

NSP: 作者没有采用NSP 任务，因为作者认为，这种任务bert 可以很容易的可以达到很高的分数，这里作者采用了三分类任务，即预测句子是其的前一句后一句还是随机挑选的一个句子。