目录
如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~
花书+吴恩达深度学习(一)前馈神经网络(多层感知机 MLP)
花书+吴恩达深度学习(二)非线性激活函数(ReLU, maxout, sigmoid, tanh)
0. 前言
前馈神经网络(feedforward neural network),又称作深度前馈网络(deep feedforward network)、多层感知机(multilayer perceptron,MLP)。
信息流经过 的函数,流经中间的计算过程,最终达到输出
,所以被称为是前向的。
在模型的输出和模型本身之间并没有反馈连接。
神经网络可以表示成如下图所示(图源:吴恩达深度学习):
这是一个两层的神经网络,左侧是输入层,通常不算入网络层数的计算中,中间被称为隐藏层,右侧是输出层。
1. 每一个神经元的组成
每一个神经元由一个线性拟合和一个非线性激活函数组成。
假设,前一层的输入为 ,线性拟合表示为
,权重乘以每一个特征值,再加上一个截距。非线性激活函数表示为
,
为神经元的输出,也是传入下一层神经元的输入。
注