Seq2Seq模型理论浅析

Seq2Seq模型理论浅析

一、Seq2Seq模型核心思想

Seq2Seq模型主要是实现一个序列到另一个序列的转换，例如中英文翻译。Seq2Seq模型由两个深度神经网络组成，深度神经网络可以是RNN或者LSTM等其他神经网络。Seq2Seq模型使用一个神经网络将输入序列映射到一个固定维数的向量上，这是一个编码过程；然后另一个神经网络从这个向量映射到目标序列，这是一个解码过程。Seq2Seq的模型结构如图1所示，模型输入句子“ABC”，然后产生“WXYZ”作为输出句子。

图1  Seq2Seq的模型结构

二、编码与解码

编码与解码是Seq2Seq模型的核心部分，深度学习网络以RNN为例说明编码与解码的原理。编码与解码的结构如图2所示。