吴恩达深度学习笔记【第三周 浅层神经网络】

第三周 浅层神经网络

---

目录

第三周 浅层神经网络

3.1神经网络概览

3.2神经网络表示（图形的意义）

3.3计算神经网络的输出

3.4多个例子中的向量化

3.5向量化实现的解释

3.6激活函数

3.7为什么需要非线性激活函数

3.8激活函数的导数

3.9神经网络的梯度下降法

3.10直观理解反向传播

3.11随机初始化

---

---

 

3.1神经网络概览

注：上标方括号表示不同的层 上标圆括号表示不同的样本

3.2神经网络表示（图形的意义）

 

3.3计算神经网络的输出

单个训练样本：

？

3.4多个例子中的向量化

3.5向量化实现的解释

3.6激活函数

g可能是线性的也可能是非线性的 

tanh 有数据中心化的作用  但是二元分类时用segema Function的另一个特殊作用是用于输出层 使 y^保持在 0~1

但这两种Function都有一种特点 当 z 很大或者 负很多时 斜率很小会降低梯度下降的速度

ReLU（带泄露的线性修正单元）  max（0.01z，z）

ReLU（线性修正函数单元）  在原点可以赋值导数   学习速度很快

隐藏层数 激励函数的热门选择 冷门选择 只有尝试 

3.7为什么需要非线性激活函数

 

3.8激活函数的导数

3.9神经网络的梯度下降法

 

 

3.10直观理解反向传播

就是链式求导法则

目的：是计算导数进行梯度下降法

3.11随机初始化

输入特征少时  隐藏单元太多也不好  很多都在计算相同的东西