首先,bert模型分为预训练模型和微调(fine-tuing)模型,
从图中可以看出,bert的对应输入内容分为三个部分。
token embedding用于标注一个句子的对应的标志。
segment embedding用于标注一个句子对应的段落标志,同一个句子标注为统一的
E
A
{E_A}
EA,不同的句子标注为不同的
E
A
E_A
EA,
E
B
E_B
EB。
position embedding用于标注单词的位置,以0,1,2,3依次类推。
经过谷歌的预训练之后,得到的参数仍然为token embedding,segment embedding以及position embedding,区别只在于这里的三个对应的参数是使用的谷歌预训练之后的参数,接下来bert模型的微调会根据不同的任务模型进行相应的不同的微调
1.序列分类任务2.句子分类任务
3.问答任务
Question对应着Token1到Token N,Paragraph也对应着相应的Token1到Token M
4.单个句子标签任务
bert模型快速上手
最新推荐文章于 2024-06-06 14:03:20 发布