理解Transformer中的位置编码

为什么要位置编码

【文本分类】

• I like this movie because it doesn’t have an overhead history. Positive
• I don’tlike this movie because it has an overhead history.     Negative
  在文本分类中,not出现地方不同，导致分类的类别也不同

【命名实体识别】

lnc.之前单词一般为公司具体名称即LOC(组织机构)
in 之后一般为TIME(时间) 和 LOC (组织机构)

三角函数的位置编码(原始Transformer)

$$\{\begin{array}{c}PE(pos,2i)=\sin \left(\frac{pos}{{10000}^{2i/d_{model}}}\right)\\ PE(pos,2i\text{+1})=\cos \left(\frac{pos}{{10000}^{2i/d_{model}}}\right)\end{array}$$
其中，$pos$ 是 token的位置索引，设句子长度为$L$,那么$pos=0,1,...,L-1$。
      $i$是向量的某一维度，假设$d_{model}=512$时$i=0,1,...,255(因为2i了)$
根据如上公式，可以为每个位置上的token生成$d_{model}$维的位置向量
【为什么这么做】因为根据三角函数
$$\{\begin{array}{c}\sin (\alpha +\beta )=\sin \alpha \cos \beta \text{+con}\alpha \text{sin}\beta \\ \cos (\alpha +\beta )=\cos \alpha \cos \beta -\sin \alpha \sin \beta \end{array}$$
可得：
$$\{\begin{array}{c}PE(pos+k,2i)=PE(pos,2i)\times PE(k,2i\text{+1})\text{+}PE(pos,2i\text{+1})\times PE(k,2i)\\ PE(pos+k,2i\text{+1})=PE(pos,2i\text{+1})\times PE(k,2i\text{+1})-PE(pos,2i)\times PE(k,2i)\end{array}$$
【结论】当求$PE(pos+k,2i)$的向量时，可表示为对$PE(pos,2i)$上的线性表示，因为$PE(k,2i+1)$当每次 k=1 时就是一个固定的值，这样逐步向后推。

Reference

本博客的基础知识来源于浅谈 Transformer-based 模型中的位置表示，然后基于此，我自己得到上面的结论。