神经网络的训练的过程中通常有个正向过程(forward pass)或者叫做正向传播步骤(forward propagation step)接着会有个反向步骤(backward pass)也叫反向传播步骤(backward propagation step)。正向传播步骤和反向传播步骤到底做了什么事情?
- 正向传播沿着从输⼊层到输出层的顺序,依次计算并存储神经网络的中间变量和神经网络的输出。
- 反向传播沿着从输出层到输⼊层的顺序,依次计算并存储神经网络中间变量和参数的梯度。
- 在训练深度学习模型时,正向传播和反向传播相互依赖。