roberta论文品读

1.与bert相比采用了动态mask的操作
具体操作：将数据复制十份，每一份使用不同的mask方式进行遮盖
2.去除下一个句子预测的Next Sentence Prediction的操作
3.使用large batches进行训练
4.使用Text Encoding进行文本编码，这里扩充了文本编码使用字符作为权重，而不是unicode字符作为基础的子单词单元作为权重。
重难点句子
We re-establish that BERT’s masked language model training objective is competitive with other recently proposed training objectives such as perturbed autoregressive language modeling.
我们重新建立了BERT的遮盖语言模型训练目标与其他例如自动回归语言模型的训练有着一定的竞争力。
We present a replication study of BERT pretraining,which includes a careful evaluation of the effects of hyperpameter tuning and training set size.
我们提供了一种BERT预训练的复制版本，包括了仔细调整超参数的影响和训练集的尺寸。