词向量——openAI GPT 1.0与2.0

一、1.0

openAI GPT(Generative Pre-trained Transformer)词向量模型，2018年在《Improving Language Understanding by Generative Pre-Training》这篇论文中被提出，下面从几个方面来介绍。

1.产生场景

将训练好的词向量应用到特定任务中有两个主要挑战：

（1）it is unclear what type of optimization objectives are most effective at learning text representations that are useful for transfer

（2）there is no consensus on the most effective way to transfer these learned representations to the target task

而openAI GPT模型使用了一种半监督方式，它结合了无监督的预训练（pre-training）和有监督的微调（fine-tuning），旨在学习一种通用的表示方式，它转移到各种类型的NLP任务中都可以做很少的改变。

2.特征

是一种fine-tuning方法，在fine-tuning期间利用task-aware input Transformations来实现有效传输，同时对模型架构进行最少的更改。

use a left-to-right architecture, where every token can only attended to previous tokens in the self-attention layers of the Transformer，BERT认为它没有真正做到双向，会影响下游任务的表现&