Backpropagation (反向传播)
Backpropagation(反向传播),就是告诉我们用gradient descent来train一个neural network的时候该怎么做,它只是求微分的一种方法,而不是一种新的算法。
Gradient Descent
gradient descent的使用方法,跟前面讲到的linear Regression或者是Logistic Regression是一模一样的,
唯一的区别就在于当它用在neural network的时候,network parameters Θ = w1,w2....b1,b2....有着大量可能多达上百万个的参数,
所以传统的求微分方法行不通,计算量太大无法快速有效的求出微分。
这就是Backpropagation要做的事情,所以Backpropagation并不是一个和gradient descent不同的training的方法,
它就是gradient descent,它只是一个比较有效率的算法,让你在计算这个gradient的vector的时候更有效率。
链式求导法则(Chain Rule)
Backpropagation里面并没有什么高深的数学,你唯一需要记得的就只有Chain Rule(链式法则)
对整个neural network,我们定义了一个loss function:,它等于所有training data的loss之和
这个表达式告诉我们,只需要考虑如何计算对某一笔data的,再将所有training data的cross entropy对参数w的偏微分累计求和,
就可以把total loss对某一个参数w的偏微分给计算出来。
我们先考虑某一个neuron,先拿出上图中被红色三角形圈住的neuron,假设只有两个input x1,x2 ,通过这个neuron,我们先得到 y = b + w1x1 + w2x2,
然后经过activation function从这个neuron中output出来,作为后续neuron的input,再经过了非常非常多的事情以后,会得到最终的output y1,y2。
现在的问题是这样:∂l / ∂w 该怎么算?按照chain rule,可以把它拆分成两项∂l / ∂w = (∂z/∂w)* (∂l/∂z),这两项分别去把它计算出来。
前面这一项是比较简单的,后面这一项是比较复杂的。
计算前面这一项∂z/∂w的这个process,我们称之为Forward pass;而计算后面这项∂l/∂z的process,我们称之为Backward pass
先考虑∂z/∂w这一项,完全可以秒算出来,∂z/∂w1 = x1,∂z/∂w2 = x2,
它的规律是这样的:求∂z/∂w,就是看w前面连接的input是什么,那微分后的∂z/∂w值就是什么,
因此只要计算出neural network里面每一个neuron的output就可以知道任意的z对w的偏微分。
比如hidden layer作为neuron的输入时,那该neuron的input就是前一层neuron的output,
于是的值就是前一层的z经过activation function之后输出的值(下图中的数据是假定activation function为sigmoid function得到的)。
Backward pass
再考虑∂l/∂z这一项,它是比较复杂的,这里我们依旧假设activation function是sigmoid function。
我们的z通过activation function得到a,这个neuron的output是,接下来这个a会乘上某一个weight w3 ,再加上其它一大堆的value得到z',
它是下一个neuron activation function的input,然后a又会乘上另一个weight w4 ,再加上其它一堆value得到z'',后面还会发生很多很多其他事情,
不过这里我们就只先考虑下一步会发生什么事情:
这里的 ∂a/∂z 实际上就是activation function的微分(在这里就是sigmoid function的微分),接下来的问题是∂l / ∂a 应该长什么样子呢?
a会影响z'和z'',而z'和z''会影响 l,所以通过chain rule可以得到,
这里的∂z' / ∂a = w3,∂z''/ ∂a = w4,那∂l/∂z'和∂l/∂z''又该怎么算呢?这里先假设我们已经通过某种方法把和这两项给算出来了,然后回过头去就可以把∂l / ∂z 给轻易地算出来。
另一个观点
这个式子还是蛮简单的,然后,我们可以从另外一个观点来看待这个式子,
你可以想象说,现在有另外一个neuron,它不在我们原来的network里面,在下图中它被画成三角形,这个neuron的input就是∂l/∂z'和∂l/∂z'',
那input ∂l/∂z' 就乘上w3,input ∂l/∂z'' 就乘上w4,它们两个相加再乘上activation function的微分 ,就可以得到output∂l/∂z。
值得注意的是,这里的是一个constant常数,它并不是一个function,因为z其实在计算forward pass的时候就已经被决定好了,z是一个固定的值。
两种情况
ok,现在我们最后需要解决的问题是,怎么计算∂l/∂z' 和∂l/∂z''这两项,假设有两个不同的case:
case 1:Output Layer
假设蓝色的这个neuron已经是hidden layer的最后一层了,也就是说连接在z'和z''后的这两个红色的neuron已经是output layer,
它的output就已经是整个network的output了,这个时候计算就比较简单。
其中∂y1/z' 就是output layer的activation function (softmax) 对z'的偏微分
而∂ l / ∂y1 就是loss对y1的偏微分,它取决于你的loss function是怎么定义的,也就是你的output和target之间是怎么evaluate的,
你可以用cross entropy,也可以用mean square error,用不同的定义,的值就不一样∂ l / ∂y1。
这个时候,你就已经可以把 l 对w1和w2的偏微分∂ l / ∂w1、∂ l / ∂w2算出来了。
Case 2:Not Output Layer
假设现在红色的neuron并不是整个network的output,那z'经过红色neuron的activation function得到a',
然后output a 和w5、w6相乘并加上一堆其他东西分别得到za和zb,如上图所示
根据之前的推导证明类比,如果知道∂l/∂za和∂l/∂zb,我们就可以计算∂l/∂z',如下图所示,借助运算放大器的辅助理解,
将乘上和乘上的值加起来再通过op-amp,乘上放大系数,就可以得到output ∂l/∂z'
知道z'和z''就可以知道z,知道za和zb就可以知道z',...... ,现在这个过程就可以反复进行下去,直到找到output layer,
我们可以算出确切的值,然后再一层一层反推回去。
你可能会想说,这个方法听起来挺让人崩溃的,每次要算一个微分的值,都要一路往后走,一直走到network的output,
如果写成表达式的话,一层一层往后展开,感觉会是一个很可怕的式子,但是!实际上并不是这个样子做的。
你只要换一个方向,从output layer的开始算∂l/∂z,你就会发现它的运算量跟原来的network的Feedforward path其实是一样的。
但是,如果你反过来先去计算z5和z6的偏微分的话,这个process,就突然之间变得有效率起来了。
总结:
总结一下Backpropagation是怎么做的:
1.Forward pass,每个neuron的activation function的output,就是它所连接的weight的∂z/∂w
2.Backward pass,建一个与原来方向相反的neural network,它的三角形neuron的output就是∂l/∂z
把通过forward pass得到的∂z/∂w和通过backward pass得到的∂l/∂z乘起来就可以得到对的偏微分∂l/∂w
.