正向传播(forward-propagation):指对神经网络沿着输入层到输出层的顺序,依次计算并存储模型的中间变量。
反向传播(back-propagation):沿着从输出层到输入层的顺序,依据链式法则,依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。
反向传播是一种计算神经网络参数梯度的方法
对于输入或输出X,Y,Z为任意形状张量的函数 和
通过链式法则,则有:
正向传播(forward-propagation):指对神经网络沿着输入层到输出层的顺序,依次计算并存储模型的中间变量。
反向传播(back-propagation):沿着从输出层到输入层的顺序,依据链式法则,依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。
反向传播是一种计算神经网络参数梯度的方法
对于输入或输出X,Y,Z为任意形状张量的函数 和
通过链式法则,则有: