Pytorch——循环神经网络层、损失函数、优化器

关于深度学习的一些理解的参考链接：
https://www.cnblogs.com/bamtercelboo/p/7469005.html
#一、 基础知识
##1）激活函数

sigmoid和tanh函数的导数都是原函数的函数。这样，我们一旦计算原函数的值，就可以用它来计算出导数的值。

二、循环神经网络层

##1）LSTM

t.manual_seed(1000)

input=V(t.randn(2,3,4))
print('input:')

print(input)
lstm=nn.LSTM(4,3,1)
h0=V(t.randn(1,3,3))
c0=V(t.randn(1,3,3))
out,hn=lstm(input, (h0,c0))
print('out:')
print(out)

结果：

input:
tensor([[[-0.5306, -1.1300, -0.6734, -0.7669],
         [-0.7029,  0.9896, -0.4482,  0.8927],
         [-0.6043,  1.0726,  1.0481,  1.0527]],

        [[-0.6424, -1.2234, -1.0794, -0.6037],
         [-0.7926, -0.1414, -