LSTM

最新推荐文章于 2024-08-11 12:10:46 发布

zhaohuizhu135

最新推荐文章于 2024-08-11 12:10:46 发布

阅读量3.2k

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/zhaohuizhu135/article/details/52771239

版权

本文详细介绍了LSTM模型的工作原理，通过图解展示了LSTM的结构，解析了其计算公式，并逐步解释了反向传播过程中如何计算各时刻的微分。通过一系列的数学推导，阐述了从t=T到t=1时刻的成本函数对隐藏状态的全微分，为深入理解LSTM的训练过程提供了指导。

摘要由CSDN通过智能技术生成

lstm_flowj (Fig. 1)

Fig.1 是一张展开的LSTM模型的示意图，绿色的模块表示隐藏层记忆单元，每个记忆单元都有三个输入，两个输出（虽然图中有三个输出箭头，但其中两个输出都是 $h(t)$ ），因此， $t$ 时刻记忆单元的输入、输出分别为 $x(t), h(t-1), s(t-1)$ 和 $h(t), s(t)$

differciate_chain_sh

模型的计算公式如下：

g (t) i (t) f (t) o (t) s (t) h (t) = ϕ (W g x x (t) + W g h h (t - 1) + b g) = σ (W i x x (t) + W i h h (t - 1) + b i) = σ (W f x x (t) + W f h h (t - 1) + b f) = σ (W o x x (t) + W o h h (t - 1) + b o) = g (t) * i (t) + s (t - 1) * f (t) = s (t) * o (t) (Eq. 1.1) (Eq. 1.2) (Eq. 1.3) (Eq. 1.4) (Eq. 1.5) (Eq. 1.6)

$\begin{align} g(t) &= \phi(W_{gx}x(t) + W_{gh}h(t-1) + b_g) & (\text{Eq. 1.1}) \\ i(t) &= \sigma(W_{ix}x(t) + W_{ih}h(t-1) + b_i) & (\text{Eq. 1.2}) \\ f(t) &= \sigma(W_{fx}x(t) + W_{fh}h(t-1) + b_f) & (\text{Eq. 1.3}) \\ o(t) &= \sigma(W_{ox}x(t) + W_{oh}h(t-1) + b_o) & (\text{Eq. 1.4}) \\ s(t) &= g(t)*i(t) + s(t-1)*f(t) & (\text{Eq. 1.5}) \\ h(t) &= s(t)*o(t) & (\text{Eq. 1.6}) \end{align}$
成本函数的定义为：