Pytorch学习06——感知机

1、梯度

• 前向传播：得到所有层输出
  后向传播：得到输出对参数的梯度表达式，表达式中含有各层输出，代入可得梯度值

2、感知机

• 单层：input@w，得到结果后通过激活函数得到output，然后mse为output与label差值平方（一般再取二分之一，为了好求导）
• 多层：可能有多个层级，每一层有多个神经元，对应参数也会有更高维度

3、链式法则

4、MLP(Multilayer Perceptron)反向传播

• 简单总结：参数w上层记为i，下层记为j。
• 简单理解即 j = w*i
• 则损失函数对于参数的导数 = i * f ( j )
• f ( j )是j的函数，可以通过前向传播得到结果，i值也可求
• 所以损失函数对于所有参数的导数可求
• 特别：下图中用到的激活函数是sigmoid函数