Datawhale组队学习活动 Task4

因为本次组队学习，两个baseline选择的是LSTM的模型，所以这里说一下LSTM的原理。本次学习内容的来源为邱锡鹏老师的《神经网络与深度学习》的这本书。
了解LSTM的前提先了解一下循环神经网络（Recurrent Neural Network,RNN）是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。但当输入序列比较长的时，回存在梯度爆炸和消失的问题。为了解决这个问题，人们对循环神经网络做了很多的改进，其中最有效的改进方式是引入控制门机制。而长短期记忆网络（Long Short-Term Memory Network,LSTM）是循环神经网络的一个变体。
LSTM引入一个新的内部状态专门进行线性的循环信息传递，同时（非线性地）输出信息给隐藏层的外部状态。
门控机制：门是一个二值变量{0,1},0代表关闭状态，不允许任何信息通过；1代表开发状态，允许所有信息通过。
LSTM网络引入了门控机制来控制信息传递的路径，其中“门”分别为输入门、遗忘门和输出门。
输入门：控制当前时刻的候选状态有多少信息需要保存
遗忘门：控制上一时刻的内部状态，需要遗忘多少信息
输出门：控制当前时刻的内部状态有多少信息需要输出给外部状态。
LSTM还有许多变体，例如：无遗忘门的LSTM网络、peephole连接、耦合输入门和遗忘门。