UNILM与BERT之中MASK处理比较

将Bert的Transformer架构跟Seq2Seq结合起来进行操作
从原则上来讲，任何NLP问题都可以转化为Seq2Seq来做，它是一个真正的万能模型，因此，如果能够做到Seq2Seq，理论上就可以实现任意任务了。
UNILM提供了一种优雅的方式，能够让我们直接用单个Bert模型就可以做Seq2Seq任务，而不需要区分encoder和decoder。实现这一点几乎不费吹灰之力----------------只需要一个特别的Mask。

不过左图只是最朴素的方案，它把“你想吃啥”也加入了预测范围了（导致它这部分的Attention是单向的，即对应部分的Mask矩阵是下三角），事实上这是不必要的，属于额外的约束。真正要预测的只是“白切鸡”这部分，所以我们可以把“你想吃啥”这部分的Mask去掉，得到上面的右图的Mask。

这样一来，输入部分的Attention是双向的，输出部分的Attention是单向，满足Seq2Seq的要求，而且没有额外约束。这便是UNILM里边提供的用单个Bert模型就可以完成Seq2Seq任务的思路，只要添加上述形状的Mask，而不需要修改模型架构，并且还可以直接沿用Bert的Masked Language Model预训练权重，收敛更快。这符合“一Bert在手，天下我有”的万用模型的初衷，个人认为这是非常优雅的方案。