2019年06月_沐漜

08月 06月 05月

转载 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding学习

一、什么是BERT模型？谷歌团队的Thang Luong直接定义：BERT模型开启了NLP的新时代BERT这个模型与ELMo和OpenAI的fine-tune transformer的不同的是，它在训练双向语言模型时以减小的概率把少量的词替成了Mask或者另一个随机的词。我个人感觉这个目的在于使模型被迫增加对上下文的记忆。BERT模型具有以下两个特点：第一，是这个模型非常的深，...

2019-06-29 18:48:09 1607

转载 ELMO代码学习

import tensorflow_hub as hubimport tensorflow as tfimport reimport numpy as npimport pickleimport pandas as pdfrom nltk import WordNeatLemmatizer,word_tokenizefrom nltk.corpus import stopwords...

2019-06-26 19:15:05 606

转载 ELMo算法原理

ELMo算法原理0. 目录1. 前言2. ELMo模型介绍3. ELMo原理介绍3.1 ELMo的预训练3.2 使用语言模型4. 总结0. 目录1. 前言前言今天给学习一篇2018年提出的论文《Deep contextualized word representations》，在这篇论文中提出了一个很重要的思想ELMo。本人认为ELMo的提出对后面的的GPT和BRET有一个很好的引导和启...

2019-06-25 10:19:57 2398