初入nlp坑的学生们常常会不理解这样一个相应的问题:Bert结构只有编码,而transformer结构既有编码机制又有解码机制,想通过这篇文章来帮助大家理解一下这个问题。
其实这个问题的解答很简单:因为Bert使用的transformer机制实际上是真正的transformer结构的一半。
真正的transformer结构机制
bert中所使用的Transformer结构机制
Bert的微调操作本质上有点像cnn机制,只是把每一个结构之中换乘了相应的Transformer结构而已。
为什么说Bert结构只有编码,而transformer既有编码结构又有解码结构
最新推荐文章于 2024-02-22 13:21:29 发布