深度学习基础知识

深度学习基础知识

神经网络

让原始数据通过一个映射得到我们想要的数据。

BP算法

这里以三层神经网络为例进行推导，输入层2个节点，隐含层三个节点，输出层2个节点，如下图所示。激活函数采用sigmoid激活函数，损失函数为平方损失函数。

• 总误差
  $$\begin{array}{rl}{L}_{total}& =\sum \frac{1}{2}(target-output{)}^2\\ & \\ & =\frac{1}{2}(targe{t}_{o1}-ou{t}_{o1}{)}^2+\frac{1}{2}(targe{t}_{o2}-ou{t}_{o2}{)}^2\\ & \end{array}$$

• 隐含层–>输出层权值更新, w7为例
  $$\begin{array}{rl}\frac{\partial L_{total}}{\partial w_7}& =\frac{\partial L_{total}}{\partial ou{t}_{o1}}\ast \frac{\partial ou{t}_{o1}}{\partial ne{t}_{o1}}\ast \frac{\partial ne{t}_{o1}}{\partial w_7}\\ & \\ & =-(targe{t}_{o1}-ou{t}_{o1})\ast [ou{t}_{o1}\ast (1-ou{t}_{o1})]\ast ou{t}_{h1}\\ & \\ & ={\delta }_{o1}\ast ou{t}_{h1}\end{array}$$

• 隐含层–>隐含层(输入层的权值更新)，以w1为例，
  $$\begin{array}{rl}\frac{\partial L_{total}}{\partial w_1}& =\frac{\partial L_{total}}{\partial ou{t}_{h1}}\ast \frac{\partial ou{t}_{h1}}{\partial ne{t}_{h1}}\ast \frac{\partial ne{t}_{h1}}{\partial w_1}\\ & \\ & =\frac{\partial L_{total}}{\partial ou{t}_{h1}}\ast [ou{t}_{h1}\ast (1-ou{t}_{h1})]\ast i_1\\ & \\ & =({\delta }_{o1}\ast w_7+{\delta }_{o2}\ast w_{1}0)\ast [ou{t}_{h1}\ast (1-ou{t}_{h1})]\ast i_1\\ & \\ & ={\delta }_{h1}\ast i_1\end{array}$$

激活函数

• sigmoid
  $$\sigma (x)=\frac{1}{1+e^{-x}}$$

  • 导函数是偶函数
    $${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))=\frac{1}{1+e^{-x}}\ast \frac{e^{-x}}{1+e^{-x}}$$
    $$\begin{array}{rl}{\sigma }^{\prime }(-x)& =\sigma (-x)(1-\sigma (-x))\\ & \\ & =\frac{1}{1+e^x}\ast \frac{e^x}{1+e^x}\\ & \\ & =(1-\sigma (x))\ast \sigma (x)\\ & \\ & ={\sigma }^{\prime }(x)\end{array}$$

  • 导函数在大于0时是减函数
    $$\begin{array}{rl}{\sigma }^{\prime }(x)& =\sigma (x)(1-\sigma (x))\\ & \\ & =\frac{1}{1+e^{-x}}\ast \frac{e^{-x}}{1+e^{-x}}\\ & \\ & =\frac{e^x}{1+e^x}\ast \frac{e^{-x}}{1+e^{-x}}\\ & \\ & =\frac{1}{2+e^x+e^{-x}}\end{array}$$
    $$\begin{array}{rl}{\sigma }^{\prime \prime }(x)& =(\frac{1}{2+e^x+e^{-x}}{)}^{\prime }\\ & \\ & =\frac{-(e^x-e^{-x})}{(2+e^x+e^{-x}{)}^2}<0\end{array}$$

  • Simoid函数的两端区域的的梯度接近于9，这会导致反向传播过程中导数处于该区域的误差很难甚至无法传递至前层，进而导致整个网络无法正常训练；

  • 另外，Sigmoid激活函数值域的均值并非为0，而是全为正，这并不符合我们对神经网络内数值的期望均值为0的设想。

• tanh
  $$\sigma (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

  • tanh(x)解决了Sigmod函数均值的问题
  • 但没有改变导数的形状与性质，仍然会出现"梯度饱和"的现象。

• ReLU
  $$\begin{array}{rl}ReLU(x)& =max(0,x)\\ & \\ & =\{\begin{array}{ll}x& x\ge 0\\ & \\ 0& x<0\end{array}\end{array}$$

  • ReLU函在x >= 0部分完全消除了Sigmoid函数的梯度饱和效应，在计算复杂度上，更为简单；
  • 实验中发现ReLU函数有助于随机梯度下降方法收敛，收敛速度约快6倍；
  • 在 x < 0时，梯度为0，将无法影响网络训练，这种现象称为"死区".

• Leaky ReLU
  $$LeakyReLU(x)=\{\begin{array}{ll}x& x\ge 0\\ & \\ \alpha \ast x& x<0\end{array}$$

  • $\alpha$为0.01或0.001数量级的较小正数;
  • $\alpha$为超参数，较难设定合适的值且较为敏感，因此Leaky ReLU函数在实际应用中性能并不十分稳定.

• 参数化ReLU

  • 参数化ReLU直接将$\alpha$作为一个网络中可学习的变量融入模型的整体训练过程
  • 参数化ReLU在带来更大自由度的同时，也增加了网络模型过拟合的风险，在实际应用中需格外注意.

• 随机化ReLU
  $$RandomizedReLU(x)=\{\begin{array}{ll}x& x\ge 0\\ & \\ {\alpha }^{\prime }\ast x& x<0\end{array}$$
  其中,
  $${\alpha }^{\prime }\sim U(l,u),l,u\in [0,1)$$

  • Kaggle 2015浮游动物的图像分类一举夺冠.

• 指数化线性单元(Exponential Linear ELU)
  $$RandomizedReLU(x)=\{\begin{array}{ll}x& x\ge 0\\ & \\ \lambda \ast (e^x-1)& x<0\end{array}$$

  • ELU局部ReLU函数的优点，同时解决了ReLU函数自身的"死区问题".
  • ELU函数中的指数操作稍微增大了计算量，在实际应用中是，ELU中的超参数\lamda一般被设置为1.

损失函数

• 分类中的损失函数:
  假设分类任务共有N个训练样本，针对网络最后分类层第$i$个样本的输入特征$x_i$，其对应的真实标记为$y_i\in (1,2,...,C)$，另$h=(\widehat{y_1},\widehat{y_2},...,\widehat{y_C}{)}^T$为网络的最终输出,即样本$i$的预测结果，其中C为分类任务类别数.

  • 交叉熵损失函数
    $$L_{cross\_entropy\_loss}=-\frac{1}{N}\sum _i^{N}log\frac{e^{\widehat{yi}}}{{\sum }_j^{C}e{}^{y_j}}$$

  • focal loss
    $$Focal\_Loss=-{\alpha }_t\ast (1-p_t{)}^{\gamma }\ast log(p_t)$$
    $(1-p_t{)}^{\gamma }$被称为调制系数.

    

    • 减少易分类样本的权重，使得模型更专注于难分类样本的样本。
    • 当一个样本被分错的时候，pt是很小的，此时调制系数较大，和原来的loss变化较小
    • 当一个样本被分类正确且是易分类样本时，调制系数趋于0，也就是对总的loss贡献较小
    • 当$\gamma =0$时，focal loss就是传统的交叉熵损失函数；当$\gamma$增大时，调制系数也会增加.
    • 实验中$\gamma =2,\alpha =0.25效果最好.$

  • 合页损失函数(hinge loss)
    $$L_{hinge\_loss}=\frac{1}{N}max(0,1-h_{y_i})$$

    • SVM中应用此损失函数
• 回归中的损失函数
  假设第$i$个样本$x_i$的真实标记为$y^i=(y_1,y_2,...,y_M{)}^T$,$M$为标记向量的总维度，则$l_t^i$即表示样本$i$上网络预测值$\widehat{y^i}$与其真实表姐在t维的预测误差（亦称残差:
  $$l_t^i=y_t^i-\widehat{y_t^i}$$
  • l1 损失函数
    $$L_{l1\_loss}=\frac{1}{N}\sum _i^N\sum _j^M|l_t^i|$$
  • l2 损失函数
    $$L_{l2\_loss}=\frac{1}{N}\sum _i^N\sum _j^M(l_t^i{)}^2$$
    • 在实际应用中，l1与l2损失函数在回归精度上几乎相差无几，不过在一些情况下l2损失函数可能会略优于l1;
    • 收敛速度方面l2损失函数略快于l1损失函数.

正则化

机器学习一个核心问题是，如何使学习算法不仅在训练样本上表现良好，并且在新数据集或测试集上同样奏效，学习算法在新数据集上的这样一种表现我们称之为"泛化能力"；弱学习算法在训练集上表现良好，但在测试集上却非常糟糕，则我们说这样的学习算法并没有泛化能力，这种现象也称为"过拟合".

正则化是机器学习中通过显式地控制模型复杂度来避免模型过拟合，确保泛化能力的一种有效方式。有限空间自然对应复杂度不太高的模型，也自然对应了有限的模型表达能力，这就是“正则化能有效防止过拟合”的一种直观解释。

• l2正则化
  假设待正则化的网络参数为$w$，则$l2$正则项形式为:
  $$l2=\frac{1}{2}\lambda ||w|{|}_2^2$$
  其中$\lambda$控制正则项大小，较大的$\lambda$取值将较大程度约束模型复杂度，反之亦然.

  • 在实际应用中，一般将正则项加入目标函数，通过整体目标函数的误差反向传播，从而达到正则项影响和指导网络训练的目的;
  • $l2$正则化在深度学习中有一个常用的叫法较"权重衰减"(weight decay)，另外$l2$正则化在机器学习中还被称作"岭回归".

• l1正则化
  $$l1=\lambda ||w|{|}_1=\lambda \sum _i|w_i|$$

  • $l1$正则化除了同$l2$正则化一样能约束参数量级外，还能起到使参数更系数的作用。稀疏化的结果使优化后的参数一部分为0，另一部分为非0实值。非0实值的那部分参数可起到选择重要参数或特征维度的作用，同时也可起到去除噪声的作用。
  • 此外， $l2$和$l1$也可联合使用
    $${\lambda }_1||w|{|}_1+{\lambda }_2||w_2|{|}^2$$

• 关于l1正则化产生稀疏解的解释

  • 解释1: $L_1(x)$是连续的
    $$\begin{array}{rl}{L}_1(x)& =f(x)+C|x|\\ & \\ & =\{\begin{array}{ll}f(x)+Cx& x\ge 0\\ & \\ f(x)-Cx& x<0\end{array}\end{array}$$
    则
    $$\begin{array}{rl}{L}_1^{\prime }(x)& =\{\begin{array}{ll}{f}^{\prime }(x)+C& x\ge 0\\ & \\ f^{\prime }(x)-C& x<0\end{array}\end{array}$$
    只要 $C>|f^{\prime }(x)|$，则$x=0$就会变成一个极小值点.而$L_2(x)$在0点的导数等于$f^{\prime }(x)$，不会因为添加了$L_2$正则项就改变在0点的导数.

  • 解释2: 优化的角度

    拉格朗日乘数法:
    $f(x,y)$在$g(x,y)=c$时的极值点与$L(x,y,\lambda )=f(x,y)+\lambda (g(x,y)-c)$的极值相同.

    $l1$正则化优化的极值点就是f(x, y)在 $\lambda ||w|{|}_1$ = 0的极值点，而$l2$正则化优化的极值点就是f(x, y)在 $\lambda ||w|{|}^2$ = 0的极值点. 由绝对值函数的图像和二次函数的图像，已知 $l1$正则化易在坐标轴处取得极值点，也就是极值点等于0.

• 随机失活(dropout)

  随机失活在约束网络复杂度的同时，还是一种针对深度模型的高效集成学习(ensemble learning)方法.

  对于某层的每个神经元，在训练阶段均以概率p随机将该神经元权重置为0，测试阶段所有神经元均称激活状态，但其权重需要乘以(1-p)以保证训练和测试阶段各自权重拥有相同的期望.

  由于失活的神经元无法参与到网络训练，因此每次训练相当于面对一个新的网络，测试阶段相当于子网络的网络集成，这对于提高网络泛化性能效果显著.

  随机失活在工程实现中并没有完全遵照原理，而是在训练阶段直接将随机失活后的网络响应乘以$\frac{1}{1-p}$，这样测试阶段便不需要做任何量级调整，这样的随机失活被称为"倒置随机失活".

模型的欠拟合(unfitting)和过拟合(overfittin)

• 欠拟合: 在验证集上的准确率一直低于训练集上的准确率，但无明显下降趋势。（在训练集和验证集效果均不好）

  可通过增加层数、调整激活函数、增加网络非线性、减小模型正则化等措施增大网络复杂度.

• 过拟合: 验证集曲线不仅低于训练集，且随着训练轮数增长有明显下降趋势，则说明模型已经过拟合.

• 偏差(bias)、方差(variance)

  

  • 偏差
    偏差描述的是根据样本拟合出的模型的预测结果的期望与样本真实结果的差距，简单说就是在样本上拟合的好不好。想要在bias上表现好，low bias，就得复杂化模型，增加模型的参数，但这样容易过拟合，过拟合对应的是high variance.
  • variance描述的是样本训练出来的模型在测试集上的表现，要想在variance表现好，low variance，就要简化模型，减少模型的参数，但这样容易欠拟合，欠拟合对应着high bias.

梯度消失、梯度爆炸

• 什么是梯度消失和梯度爆炸?

设第$i$层网络激活后的输出为$f_i(X)$, $X$表示第$i$层的输入,也就是第$i-1$层的输出, $f$是激活函数,那么得出
$$f_{i+1}(X)=f(W_{i+1}\ast f_i+b_{i+1})$$
设网络共有n层，Loss关于第k层的某个参数$w_k$的导数为(下面的公式和解释不那么严谨):
$$\begin{array}{rl}\frac{\partial Loss}{\partial w_k}& =\frac{\partial Loss}{\partial f_n}\ast \frac{\partial f_n}{\partial f_{n-1}}\ast ...\ast \frac{\partial f_{k+1}}{\partial f_k}\ast \frac{\partial f_k}{w_k}\\ & \\ & =\frac{\partial Loss}{\partial f_n}\ast [w_{n-1}\ast (f(w_n\ast f_{n-1}+b_n)\ast (1-f(w_n\ast f_{n-1}+b_n)))]\ast ...\\ & \\ & \ast [f_{k-1}\ast (f(w_k\ast f_{k-1}+b_k)\ast (1-f(w_k\ast f_{k-1}+b_k)))]\end{array}$$
影响梯度的是累乘的$[w_{n-1}\ast (f(w_n\ast f_{n-1}+b_n)\ast (1-f(w_n\ast f_{n-1}+b_n)))]$，而$(f(w_n\ast f_{n-1}+b_n)\ast (1-f(w_n\ast f_{n-1}+b_n)))$这部分是小于等于1的，所以在$w_n$较大时，在深层网络反向传播是会产生很多大于1的数连乘，从而产生很大的梯度，这时就是梯度爆炸。而当$w_n$较小时，会出现很多小于1的数连乘，从而产生很小的梯度，这时就是梯度消失.

• 总结:

  • 梯度消失一般是由于深层网络和不合适的激活函数;
  • 梯度爆炸一般是由于深层网络和权值初始化太大.
  • 不同的层学习的差异很大, 表现为网络中靠近输出的层学习的情况很好,靠近输入的层学习很慢.

• 梯度消失梯度爆炸的解决方案

  • 预训练 + 微调

    2016 Hinton 深度信念网络

  • 梯度裁剪

    梯度裁剪是设置一个梯度阈值，更新梯度的时候，如果梯度超过这个阈值，将其强制在该范围内，这可以防止梯度爆炸.

  • 正则

    正则是通过控制权重来限制梯度爆炸的发生.

  • ReLU等激活函数

    • 解决了梯度消失、爆炸问题
    • 计算方便、计算速度快
    • 加速了网络训练

  • batch normalization, BN

    BN将输出从饱和区拉到了非饱和区.

    可以这么理解，

    原来$f_{i+1}=f(w{f}_i+b)$, 令 $t=w{f}_i+b$, 则
    $$\frac{\partial f_{i+1}}{\partial f_i}=(f(t)\ast (1-f(t)))\ast w$$

    加入BN后, $f_{i+1}=f(BN(w{f}_i))$, 令 $t=w{f}_i+b,z=BN(t)$, 则
    $$\frac{\partial f_{i+1}}{\partial f_i}=[(f(z)\ast (1-f(z)))]\ast [\frac{1}{\sigma }]\ast w$$

    加入BN后，产生影响的有两部分，一个是$(f(z)\ast (1-f(z))$, 因为$z$是BN后的，会把其从饱和区拉回到饱和区; 另外一个影响是$\frac{1}{\sigma }$, 产生怎样的影响待分析.

  • 残差结构

    $f_{i+1}=f(w\ast f_i+f_i)$, 令 $t=w\ast f_i+f_i$, 则
    $$\frac{\partial f_{i+1}}{\partial f_i}=(f(t)\ast (1-f(t)))\ast (1+w)$$
    而 $w$ 较小，因此，有1的存在，可以将梯度值扩大很多倍。

Batch norm

• 归一化

  神经网络过程本质是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力将大大不同；另一方面，一旦每批训练数据的分布各不相同，那么网络就要在每次迭代去学习适应不同的分布，这样将会大大降低网络的训练速度，这也就是为什么需要对数据做归一化的处理.

• BN能解决什么问题?

  训练过程中，中间层的数据分布发生变化，也就是"Internal Covariate Shift", 将会影响训练的速度. BN层就是在网络每一层输入的时候，先做一个归一化处理；所不同的是，这个归一化处理是带有可学习参数的. BN为什么会引入可学习参数呢? 因为只做归一化处理，相当于每一层的输入数据都是标准正态分布，导致学习到的特征都被归一化了(搞坏了)，显然是不合理的.

• BN是怎么操作的?

  BN的前向传导公式如下:

  ${\mu }_B\leftarrow \frac{1}{m}\sum x_i$ // mini-batch mean

  ${{\sigma }_B}^2\leftarrow \frac{1}{m}\sum (x_i-{\mu }_B{)}^2$ // mini-batch variance

  $\widehat{x_i}\leftarrow \frac{x_i-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}$ // normalize

  $y_i\leftarrow \gamma \widehat{x_i}+\beta$ // scale and shift

• 测试阶段的BN层

  在测试阶段，一般只输入一个测试样本。这时的$\mu$和$val$通过以下方式获得:

  $E[x]\leftarrow E_B[{\mu }_B]$ //所有batch $\mu$ 的平均值

  $Var[x]\leftarrow \frac{m}{m-1}{E}_B{\sigma }_B^2$ // 每个batch ${\sigma }_B$ 的无偏估计.

  此时,
  $$y=\gamma \ast \frac{x-E[x]}{\sqrt{Var[x]+ϵ}}+\beta =\frac{\gamma }{\sqrt{Var[x]+ϵ}}\ast x+(\beta -\frac{E[x]}{\sqrt{Var[x]+ϵ}})$$

• BN在卷积神经网络中的应用

  在卷积层上使用BN，使用了类似权值共享的策略，把一整张特征图当做一个神经元进行处理.

  假设某一层的特征图是(batch_size, channel, height, width),此时mini-batch的大小是batch_size * height * width, 对于每一张特征图只有$\gamma ,\beta$一对可学习参数

初始化方法

• 全零初始化

  全零初始化，导致不同的神经元的输出必然相同，相同输出则导致梯度更新完全一样，这样便会令更新后的参数仍然保持一样的状态。换句话说，若对参数进行了全零初始化，那么网络神经元无能力对此做出改变，从而无法进行模型训练。

• Xavier 初始化

  # 0均值,标注方差的高斯分布
  w = 0.001 * randn(n_in, n_out) / sqrt(n) # n=n_in 或 n=(n_in + n_out) / 2; 
  

  Xavier参数初始化方法维持了输入、输出数据分布方差的一致性. 设$s$为未经过非线性变换的该层网络输出结果,$w$为该层参数, $x$为该层输入数据： 则
  $$\begin{array}{rl}Var(s)& =Var(\sum _i^n{w}_i{x}_i)\\ & \\ & =\sum _i^n(Var(w_i{x}_i))\\ & \\ & =\sum _i^{n}E(w_i{x}_i-E{w}_i{x}_i{)}^2\\ & \\ & =\sum _i^n[E(w_i^2{x}_i^2)-(E{w}_i{x}_i{)}^2]\\ & \\ & =\sum _i^n[E{w}_i^2\ast E{x}_i^2-(E{w}_i{x}_i{)}^2]\\ & \\ & =\sum _i^n[(Var(w_i)+(E{w}_i{)}^2)\ast (Var(x_i)+(E{x}_i{)}^2)]-(E{w}_i{x}_i{)}^2]\\ & \\ & =\sum _i^n[Var(w_i)Var(x_i)+(E{w}_i{)}^2\ast Var(x_i)+(E{x}_i{)}^2\ast Var(w_i)]\\ & \\ & =\sum _i^n(Var(x_i)Var(w_i))\\ & \\ & =(nVar(w))\ast Var(x)\end{array}$$

• Kaiming 初始化

  # 0均值,标注方差的高斯分布
  w = 0.001 * randn(n_in, n_out) / sqrt(n/2)
  

优化算法

• (batch)梯度下降法: 时间太长
• mini-batch 梯度下降
• 随机(stochastic)梯度下降: 失去向量化带来的加速; 不稳定.

在学习接下来的优化算法之前，先介绍一下指数加权平均.

指数加权平均(exponentially weighted averages), $\frac{1}{1-\beta }$的平均,如$\beta =0.9$时, 可看成是10个的平均.

指数加权平均相比与平均，它更节省内存，因为在实现时可以不断覆盖;

$$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$$
由此可得,
$$\begin{array}{rl}{v}_t& =\beta v_{t-1}+(1-\beta ){\theta }_t\\ & \\ & =(1-\beta ){\theta }_t+\beta [\beta v_{t-2}+(1-\beta ){\theta }_{t-1}]\\ & \\ & =(1-\beta ){\theta }_t+(1-\beta )\beta {\theta }_{t-1}+{\beta }^2{v}_{t-2}\\ & \\ & =...\\ & \\ & =(1-\beta ){\theta }_t+(1-\beta )\beta {\theta }_{t-1}+(1-\beta ){\beta }^2{\theta }_{t-2}\\ & \\ & +...+(1-\beta ){\beta }^{t-1}{\theta }_1\\ & \end{array}$$
当$\beta =0.9$时,
$$v_t=0.1{\theta }_t+0.1\ast 0.9\ast {\theta }_{t-1}+...+0.1\ast 0.9^{t-1}{\theta }_1$$

指数加权平均的偏差修正(bias correction in exponentially weighted average),偏差修正有利于在早期获得更好的估测.

$$v_t=\frac{\beta v_{t-1}+(1-\beta ){\theta }_t}{1-{\beta }^t}$$

接下来学习其它的优化算法

• Momentum 梯度下降法

  可以减缓梯度下降的幅度, 一般情况下, $\beta=0.9; 改变梯度的方向.

$$V_{dw}=\beta v_{dw}+(1-\beta )dw$$
$$w:=w-\alpha V_{dw}$$

• RMSprop(root mean square prop)

  在二维中, w表示水平方向，b表示竖直方向, 运行使用更大的学习率来加快算法学习速度; 改变的是不同方向的学习率; RMSprop和Momentum梯度下降法均可以消除梯度下降中的摆动.
  $$S_{dw}=\beta S_{dw}+(1-\beta )\ast (dw{)}^2$$
  $$S_{db}=\beta S_{db}+(1-\beta )\ast (db{)}^2$$
  $$w:=w-\alpha \ast \frac{dw}{\sqrt{S_{dw}}}$$
  $$b:=b-\alpha \ast \frac{db}{\sqrt{S_{db}}}$$

• Adam(Adaptive moment estimation) 优化算法(Momentum 和 RMSprop 算法的结合)

  ${\beta }_1=0.9,{\beta }_2=0.999,ϵ=1e-8$, $\alpha$调试.
  $$V_{dw}=0,S_{dw}=0,V_{db}=0,S_{db}=0$$
  $$V_{dw}={\beta }_1{V}_{dw}+(1-{\beta }_1)dW,V_{db}={\beta }_1{V}_{db}+(1-{\beta }_1)db$$
  $$S_{dw}={\beta }_2{S}_{dw}+(1-{\beta }_2)\ast (dw{)}^2,S_{db}={\beta }_2{S}_{db}+(1-{\beta }_2)\ast (db{)}^2$$
  $${V_{dw}}^{correct}=\frac{V_{dw}}{1-{\beta }_t},{V_{db}}^{correct}=\frac{V_{db}}{1-{\beta }_t}$$
  $${S_{dw}}^{correct}=\frac{S_{dw}}{1-{\beta }^t},{S_{db}}^{correct}=\frac{S_{db}}{1-{\beta }^t}$$
  $$w:=w-\alpha \ast \frac{{V_{dw}}^{correct}}{\sqrt{({S_{dw}}^{correct}+ϵ)}},b:=b-\alpha \ast \frac{{V_{db}}^{correct}}{\sqrt{({S_{db}}^{correct}+ϵ)}}$$

最后学习一下学习率衰减(learning rate decay)

• $\alpha =\frac{1}{1+decay\_rate}\ast {\alpha }_0$
• $\alpha =0.95^{epoch\_num}\ast {\alpha }_0$ // 指数衰减
• $\alpha =\frac{k}{\sqrt{epoch\_num}}\ast {\alpha }_0$
• 离散阶梯下降(discreate staircase)

参考资料

• 解析深度学习 卷积神经网络原理视觉实践 魏秀参
• Focal Loss
• 大白话讲解BP算法
• 机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？
• 详解机器学习中的梯度消失、爆炸原因及其解决方法
• Batch Normalization 学习笔记
• 改善深层神经网络：超参数调试、正则化以及优化