bert模型快速上手

首先,bert模型分为预训练模型和微调(fine-tuing)模型,
bert的输入内容从图中可以看出,bert的对应输入内容分为三个部分。
token embedding用于标注一个句子的对应的标志。
segment embedding用于标注一个句子对应的段落标志,同一个句子标注为统一的 E A {E_A} EA,不同的句子标注为不同的 E A E_A EA E B E_B EB
position embedding用于标注单词的位置,以0,1,2,3依次类推。
经过谷歌的预训练之后,得到的参数仍然为token embedding,segment embedding以及position embedding,区别只在于这里的三个对应的参数是使用的谷歌预训练之后的参数,接下来bert模型的微调会根据不同的任务模型进行相应的不同的微调
1.序列分类任务在这里插入图片描述2.句子分类任务
序列分类任务3.问答任务
Question对应着Token1到Token N,Paragraph也对应着相应的Token1到Token M
问答任务4.单个句子标签任务
单个句子标签任务

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值