深度学习的基础知识(RNN、LSTM等模型、梯度消失与爆炸、正则化、优化方式)

今天在看迁移学习中的一个模型COVE，里面用到了LSTM（ELMo也是），故而想回顾一下深度学习中的一些基础知识。

一、网络结构

1.RNN

在此之前先介绍fully connected、CNN、RNN等重要architecture（参见台大李宏毅老师的教程）

 

RNN与传统的feedward的区别在于：允许信息的持久化，即基于原始的信息去处理新的信息。

 

2.LSTM

但RNN不能处理长期依赖的问题（长期依赖指输出的根据离输出时刻太远，譬如根据当前视频段预测接下来视频，如果当前视频只与先前不久的视频相关，那么RNN可以很好的解决这个问题。但如果当前视频依赖于很久之前的视频，比如电影的结尾与开头相呼应，那么RNN就会表现很差）

Long Short Term Memory（LSTM）是一种 RNN 特殊的类型，可以很好解决这个问题。LSTM是在标准的RNN的基础上加入了其他的神经网络（gates），而这