论文阅读：CopyNet

论文《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》

CopyNet 是在 Seq2Seq + Attention 的基础上，引入了拷贝机制，对某些任务会有所擅长。模型结构如下图

实现上有关键两点（即图中右边的上下两个矩形框），

Prediction with Copying and Generation

即从 decoder hidden state，$\boldsymbol{s}_t$，到预测输出单词 $y_t$ 的过程。本来直接一个线性映射就可以了，现在有点麻烦。

$p(y_t)$ 的概率分两个模式构成，

• Generate-Mode
  
  • 对于在输出词表 $\mathcal{V}$ 中的单词 $v_i$，有 $$\varphi(y_t = v_i) = \mathbf{W}_o\mathbf{s}_t, \quad v_i \in \mathcal{V} \cup \small\text{UNK}\tag{1}$$
  • 上面 $\mathbf{W}_o \in \mathbb{R}^{(N + 1) \times d_s}$，$\mathbf{s}_t \in \mathbb{R}^{d_s}$，$d_s$ 是 $\mathbf{s}_t$ 的维度大小。
• Copy-Mode
  
  • 对于在输入中出现的单词，预测的概率有