多层前馈神经网络的后向传播算法推导

最新推荐文章于 2024-06-29 20:42:47 发布

zhangjunthu

最新推荐文章于 2024-06-29 20:42:47 发布

阅读量1.5k

点赞数 1

分类专栏：机器学习神经网络

本文链接：https://blog.csdn.net/zhangjunthu/article/details/54175811

版权

本文详细介绍了多层前馈神经网络的结构，包括神经元之间的连接方式和激活函数。重点阐述了后向传播算法的推导过程，通过链式法则计算损失函数关于权重和阈值的梯度，从而利用梯度下降法优化网络参数，以更好地拟合训练数据。整个解析从最后一层开始，递归计算直至输入层，展示了数据在神经网络中的流动和参数更新的逻辑。

摘要由CSDN通过智能技术生成

本文研究的多层前馈神经网络（Multi-layer Feedforward Neural Networks），包含多层神经元，每层神经元与下一层神经元完全连接，神经元之间不存在同层连接，也不存在跨层连接.

设神经网络的层数为 $N$ , 其中包括输入层、输出层和隐含层。我们用 $n$ 来表示模型的第 $n$ 层（ $i\in[1,N]$ ）.

设神经网络第 $n$ 层的神经元数目为 $K_n$ ，我们用 $(n,k)$ 来表示模型的第 $n$ 层的第 $k$ 个神经元（ $k\in[1,K_n]$ ）.

对于网络的第 $n$ 层，其每一个神经元的输入都是上一层所有神经元的输出。将第 $n$ 层的神经元的输入记为 $\mathbf{x}^{(n)}$ ，将第 $n$ 层第 $k$ 个神经元的输出记为 $y^{(n)}_k$ ，则有

x (n) = [y (n - 1) 1, y (n - 1) 2, \dots, y (n - 1) K n - 1]

$\mathbf{x}^{(n)} =[ y^{(n-1)}_1, y^{(n-1)}_2, \cdots, y^{(n-1)}_{K_{n-1}}]$

设神经元 $(n,k)$ 与上一层各神经元之间的连接权重为 $\mathbf{w}^{(n)}_k$ ，其维度为 $K_{n-1}$ ，即上一层的神经元数目. 神经元 $(n,k)$ 的激活阈值为 $b^{(n)}_k$ . 因此，神经元 $(n,k)$ 接收到的输入为：

z (n) k = w (n) k \cdot x (n) - b (n) k = \sum i = 1 K n - 1 w (n) k, i \cdot x (n) i - b (n) k

$z^{(n)}_k = \mathbf{w}^{(n)}_k \cdot \mathbf{x}^{(n)} - b^{(n)}_k=\sum_{i=1}^{K_{n-1}}\mathbf{w}^{(n)}_{k,i} \cdot \mathbf{x}^{(n)}_i-b^{(n)}_k$

我们使用Sigmoid函数 σ(x

关注

专栏目录