Transformer学习系列(1)

Transformer学习(1)

记录一下我的预训练语言模型学习
之前虽然看论文里面用得很多transformer模型、预训练语言模型等,但是我一直没有系统的学习过。
今天学习的是transformer的一些基础操作,参考的博客如下:
https://zhuanlan.zhihu.com/p/448852278
我的疑惑有:

1. AutoTokenizer和那个BertTokernizer的区别是什么??

目前看到的AutoTokenizer是对话语进行分词,是真的分为一个个自然语言里面的词,若要进行后续操作,需要调用相应的函数。
而BertTokernizer直接一步将话语转成id,还有对应的句子号码(token_type_ids)、是否是填充的token(attention_mask)
在这里插入图片描述
在这里插入图片描述

2.transformer是一个模型还是一类模型

其实我之前一直以为transformer是指具体的一个模型,但是今天在网上查看资料的时候才发现,transformer既可以指具体的一个模型(2017年谷歌的那个模型),也可以指一类具有某些特征架构的深度学习模型。参考博客(下面的图也是从该博客截的)
https://blog.csdn.net/be_racle/article/details/129103851
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
原论文链接:https://arxiv.org/abs/2302.07730

  • 9
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值