Bert、Transformer模型详解清单

简介

本文将会从BERT的原理开始讲起，并带领大家分析transformer的源码，最后分别介绍如何使用BERT做本文分类与句向量的生成。

原理篇

本章将会先给大家介绍BERT的核心transformer，而transformer又是由attention组合而成，希望这两篇博客能让大家对transformer有一个详细的了解。

1. Attention机制讲解：
2. Transrofmer模型讲解：https://blog.csdn.net/u012526436/article/details/86295971
3. BERT原理详解：https://terrifyzhao.github.io/2019/02/18/BERT%E5%8E%9F%E7%90%86.html

代码篇

上文介绍完了BERT的原理，接下来我们会对transformer的源码进行分析。

Transformer源码分析：https://terrifyzhao.github.io/2019/01/11/Transformer%E6%BA%90%E7%A0%81%E8%A7%A3%E8%AF%BB.html

实践篇

最后就是BERT的两个实战项目了，这两个项目也是目前NLP方向比较热门的内容。

使用BERT做文本相似度计算、文本分类：https://terrifyzhao.github.io/2019/02/18/BERT%E5%8E%9F%E7%90%86.html

BERT句向量生成：https://blog.csdn.net/u012526436/article/details/87697242