BP神经网络

三层BP神经网络

三层网络结构图

$x$为输入向量，$y$为隐藏层的神经元，$z$为输出层, $d$为目标真实值, 本文默认$z$不经过sigmod处理。x-y的权重为$w$,y-z的权重为$v$。

BP算法推导

$y_j=\sum_ix_iw_{ij} \tag1$
$O_{y_i}=f(y_j) \tag2$
其中激励函数$f(x)=\frac{1}{1+e^{-x}}$
$f^{'}(x)=f(x)*(1-f(x)) \tag3$
$z_k=\sum_j f(y_j)v_{jk}$
此时系统的损失值为
$E=\frac{1}{2}\sum_k(z_k-d_k)^2\tag4$
则
$\frac{\partial E}{\partial z_k}=z_k-d_k=\delta_k^z\tag5$
∂E∂yj=∑k∂E∂zk