本文详细介绍了神经网络的基础知识，包括神经网络的结构、计算输出、向量化实现、激活函数的选择及其导数，以及为何需要非线性激活。此外，还探讨了梯度下降在神经网络中的应用，并简要提及了反向传播的直觉。最后，讨论了随机初始化的重要性，指出初始化参数全为0会导致问题。适合深度学习初学者阅读。
本次学习笔记主要记录学习深度学习时的各种记录，包括吴恩达老师视频学习、花书。作者能力有限，如有错误等，望联系修改，非常感谢！
神经网络和深度学习（三）- 浅层神经网络
- 一、神经网络概述(Neural Network networks)
- 二、神经网络的表示(Neural Network Representation)
- 三、计算一个神经网络的输出(Computing a Neural Network's output)
- 四、多样本向量化(Vectorizing across multiple examples)
- 五、向量化实现的解释(Justification for vectorized implementation)
- 六、激活函数(Activation functions)
- 七、为什么需要非线性激活函数(Why need a nonlinear activation function)
- 八、激活函数的导数(Derivatives of activation functions)
- 九、神经网路的梯度下降(Gradient descent for neural networks)
- （选）十、直观理解反向传播(Backpropagation intuition)
- 十一、随机初始化(Random+Initialization)
第一版 2022-05-14 初稿
一、神经网络概述(Neural Network networks)
快速过一遍如何实现神经网络：
逻辑回归模型与公式建立联系
输入特征x，参数w和b，计算z，由z可计算a，再计算出loss function L(a,y)。
如图第3个，首先计算第一层网络中的各个节点相关的数z1，接着计算 a1，在计算下一层网络同理；我们会使用符号 [m]表示第m层网络中节点相关的数，这些节点的集合被称为第m层网络。这样可以保证 [m]不会和我们之前用来表示单个的训练样本的 (i)(即我们使用表示第i个训练样本)混淆。
二、神经网络的表示(Neural Network Representation)
首先我们观察只有一个隐藏层的神经网络，其由输入层、隐藏层、输出层组成，输入层表示为a[0]，隐藏层表示为a[1]，我们称上述神经网络为双层神经网路，输入层不算入。
隐藏层和输出层有两个相关的参数w和b。
三、计算一个神经网络的输出(Computing a Neural Network’s output)
圆圈代表回归计算的两个步骤，首先第
最低0.47元/天 解锁文章
扫一扫
504
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
