Bert、Transformer模型详解清单

最新推荐文章于 2024-05-31 20:01:37 发布

I am stupid

最新推荐文章于 2024-05-31 20:01:37 发布

阅读量569

点赞数

本文链接：https://blog.csdn.net/zhongqiqianga/article/details/103784077

版权

简介

本文将会从BERT的原理开始讲起，并带领大家分析transformer的源码，最后分别介绍如何使用BERT做本文分类与句向量的生成。

原理篇

本章将会先给大家介绍BERT的核心transformer，而transformer又是由attention组合而成，希望这两篇博客能让大家对transformer有一个详细的了解。

Attention机制讲解：
Transrofmer模型讲解：https://blog.csdn.net/u012526436/article/details/86295971
BERT原理详解：https://terrifyzhao.github.io/2019/02/18/BERT%E5%8E%9F%E7%90%86.html

代码篇

上文介绍完了BERT的原理，接下来我们会对transformer的源码进行分析。

Transformer源码分析：https://terrifyzhao.github.io/2019/01/11/Transformer%E6%BA%90%E7%A0%81%E8%A7%A3%E8%AF%BB.html

实践篇

最后就是BERT的两个实战项目了，这两个项目也是目前NLP方向比较热门的内容。

使用BERT做文本相似度计算、文本分类：https://terrifyzhao.github.io/2019/02/18/BERT%E5%8E%9F%E7%90%86.html

BERT句向量生成：https://blog.csdn.net/u012526436/article/details/87697242