目录
学习完吴恩达老师机器学习课程的神经网络,简单的做个笔记。文中部分描述属于个人消化后的理解,仅供参考。
如果这篇文章对你有一点小小的帮助,请给个关注喔~我会非常开心的~
0. 前言
神经网络(Neural Network),是通过模拟生物大脑的突触神经传播电信号的一系列过程,来模拟生物思考,进而解决分类问题,通常,神经网络可以用来解决一些非线性的问题。
- 输入层(input layer):输入
- 隐藏层(hidden layer):对输入层作一系列“处理”,“处理”通常由系数的运算和激活函数组成,隐藏层可以有多层
- 输出层(output layer):接受隐藏层的输出,再进行一系列处理,最终输出
给出符号的初始定义:
--- 第
层到第
层之间的权重矩阵
--- 为第
层的第
个激活单元所计算的值
--- 第
层的第
个激活单元
1. 神经网络模型
简单神经网络模型如下所示(图源:吴恩达机器学习,更改后)。Layer1为输入层,Layer2为隐藏层,Layer3为输出层。
隐藏层中的每一个激活单元,都使用了来自输入层的每一个单元的数值;输出层中的每一个激活单元,都使用了来自隐藏层中的每一个单元的数值。
注: 是偏置单元(bias unit),为一常数,不接收前一层的输入。
这里 可以看作是
,为第一层(输入层)的激活单元。
2. 前向传播(forward propagation)
对于隐藏层和输出层的激活单元的计算,我们可给出如下计算公式,其中 仍然表示
函数:
简单来说,这一层的每一个激活单元,都需要由上一层的每一个激活单元乘以一个系数再求和,包裹一个激活函数(此处为 函数)得到,然后为这一层增加一个偏置单元,继续进行下一层的计算。这种由输入层,逐渐向后计算,计算到输出层的方式,称为前向传播(forward propagation)。
同样,我们可以将其向量化, ,
,
,
,给出公式如下:
其中, 的维度为
,
表示第
层的单元数量(不包括偏置单元)。
一般化,可得以下公式:
3. 神经网络中的多分类
在逻辑回归中,我们已经学习得知 表示分类至此类别的概率。所以,多分类由几个基分类器组成,计算每个类别的
,最大的
的类别即为分类结果。
同理,在神经网络中,也是运用此原理,如下图所示(图源:吴恩达机器学习):
图为一个4分类的例子,输出层不再只有一个单元,而是4个单元,每一个单元表示分类至此类别的 ,也就是概率,概率最大的即为分类结果。
如果这篇文章对你有一点小小的帮助,请给个关注喔~我会非常开心的~