笔记来自 CS231n Winter 2016: Lecture 4: Backpropagation, Neural Networks 内容
地址为:http://www.microsofttranslator.com/bv.aspx?ref=SERP&br=ro&mkt=zh-CN&dl=zh&lp=EN_ZH-CHS&a=http%3a%2f%2fcs231n.stanford.edu%2fsyllabus.html
如果你被墙了,去bilibili找
当梯度传播到中间层的神经元f时,如图上图所示,来自上一层的梯度dLdz从右边z进入,传到中间的神经元。此神经元在左边有两个输入,分别是x和y,为了计算L对于x和y的梯度dLdx和dLdy,就必须先计算dzdx和dzdy,根据复合函数求导公式,dLdx = dLdz
* dzdx,dLdy = dLdz * dzdy,这样就能算出传播到x和y的梯度了。也就是说通过这个方法,来自深一层的梯度就能传播到x和y当中。
让我们来考虑