lstm

之前用过lstm，效果并没有改进，所以很长时间我对他并不感冒。最近由于各种原因需要重新使用，所以比较细致的看了一下。

先来一张大牛的解释，什么是lstm：

LSTM is by definition, a function F :Rd×R×Rd→Rd×Rd . It takes in  x,pc,ph∈Rd  and performs the following computations:

⎡⎣⎢⎢⎢ifog⎤⎦⎥⎥⎥=⎡⎣⎢⎢⎢σσσtanh⎤⎦⎥⎥⎥W⋅[xph]

c=i⊗g+f⊗pc c=i⊗g+f⊗pc

h=o⊗tanh(c) h=o⊗tanh⁡(c)

where  ⊗ ⊗ denotes the elementwise product of vectors. The LSTM returns  (c,h)=F(x,pc,ph) (c,h)=F(x,pc,ph).

The number  d d is loosely referred to as “the number of units” in the LSTM cell.

再来一张解剖图（详情参见http://blog.csdn.net/ddreaming/article/details/53332433）：

it:=sigmoid[Whi∗ht−1+Wxi∗xt+bi]ft:=sigmoid[Whf∗ht−1+Wxf∗xt+bf]ot:=sigmoid[Who∗ht−1+Wxo∗xt+bo]gt:=tanh[Whg∗ht−1+Wxg∗xt+bg]ct:=(ft.∗ct−1)+(it.∗gt)ht:=ot.∗tanh[ct]

注意：

• 联系前两张图与以上公式，可以描述Caffe的LSTM实现过程
• 以上公式的 [Wxi,Wxf,Wxo,Wxg] 为由第一个InnnerProduct层保存，及4.1中的 Wxc
• 以上公式的 [bi,bf,bo,bg] 为由第一个InnnerProduct层保存，及4.1中的 bc
• 以上公式的 [Whi,Whf,Who,Whg] 为由后边的InnnerProduct层保存，及4.1中的 Whc