CopyNet 是一种在 Seq2Seq 模型基础上结合拷贝机制的NLP技术，适用于特定任务。模型包含预测拷贝和生成模式，通过Decoder的隐藏状态预测输出单词。拷贝模式通过Attention机制更新状态，允许模型从输入序列中直接复制单词。Selective read 功能用于连续拷贝长短语。然而，论文中未详细说明编码器RNN如何处理位置信息，以及如何实现概率计算。
论文《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》
CopyNet 是在 Seq2Seq + Attention 的基础上，引入了拷贝机制，对某些任务会有所擅长。模型结构如下图
实现上有关键两点（即图中右边的上下两个矩形框），
Prediction with Copying and Generation
即从 decoder hidden state， st s t ，到预测输出单词 yt y t 的过程。本来直接一个线性映射就可以了，现在有点麻烦。
p(yt) p ( y t ) 的概率分两个模式构成，
- Generate-Mode
- 对于在输出词表 V V 中的单词 vi v i ，有
φ(yt=vi)=Wost,vi∈V∪UNK(1) (1) φ ( y t = v i ) = W o s t , v i ∈ V ∪ UNK
- 上面 Wo∈R(N+1)×ds W o ∈ R ( N + 1 ) × d s ， st∈Rds s t ∈ R d s ， ds d s 是 st s t 的维度大小。
- 对于在输出词表 V V 中的单词 vi v i ，有
- Copy-Mode
- 对于在输入中出现的单词，预测的概率有
- 对于在输入中出现的单词，预测的概率有
最低0.47元/天 解锁文章
569
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
