花书+吴恩达深度学习（七）优化方法之基本算法（Momentum, Nesterov, AdaGrad, RMSProp, Adam）

最新推荐文章于 2024-06-07 10:34:13 发布
最新推荐文章于 2024-06-07 10:34:13 发布
阅读量702 收藏 8
点赞数 3
分类专栏： 深度学习 文章标签： 深度学习 优化 RMSProp Momentum Adam
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhq9695/article/details/84747115
版权

目录

0. 前言

1. 指数加权平均（exponentially weighted averages）

2. Momentum 动量

3. Nesterov 动量

4. AdaGrad

5. RMSProp

6. Adam

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（五）正则化方法（防止过拟合）

花书+吴恩达深度学习（六）优化方法之 Mini-batch（SGD, MBGD, BGD）

花书+吴恩达深度学习（七）优化方法之基本算法（Momentum, Nesterov, AdaGrad, RMSProp, Adam）

花书+吴恩达深度学习（八）优化方法之 Batch normalization

花书+吴恩达深度学习（九）优化方法之二阶近似方法（牛顿法, CG, BFGS, L-BFGS）

0. 前言

在使用 Mini-batch 的时候，通常梯度估计的方向不直接指向最小值点，容易造成曲折波动的路线。

为了防止这种路线，改善梯度估计的方向，可对反向传播作修改。

如下图所示（图源：深度学习），黑色路线是未修改的梯度估计方向，红色路线是修改后的梯度估计方向：

1. 指数加权平均（exponentially weighted averages）

假设，V_t 表示前 t 个值的和，\theta_t 表示第 t 个值，则指数加权平均表示为：

V_t=\beta V_{t-1}+(1-\beta)\theta_t

根据 \beta 的不同，V_t 表示大约前 \frac{1}{1-\beta} 个数的平均。

被称为指数的原因是，表达式递归展开，从 0 到 t 的权重表现为指数的形式：

V_t=(1-\beta)\theta_t+(1-\beta)\beta\theta_{t-1}+(1-\beta)\beta^2\theta_{t-2}+...+(1-\beta)\beta^t\theta_{0}

因初始化 V_0=0 ，所以造成 V_1 等几个初始点会较小，可进行偏差修正：

V_t=\frac{V_t}{1-\beta^t}

但是这种方法不常用，通常可以接受在开始阶段的误差，随着迭代更新，误差会逐渐消失。

2. Momentum 动量

动量的方法旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。

动量算法通过指数加权平均，累计了之前的梯度，调整了梯度估计的方向。

注：\beta 的取值一般为 0.5，0.9，0.99 。

3. Nesterov 动量

Nesterov 和 Momentum 的区别在于，先施加当前的累计速度，然后再计算梯度。

但是，在 Mini-batch 的情况下，这并没有改进收敛率。

4. AdaGrad

具有损失最大偏导的参数相应地有一个快速下降的学习率，而具有小偏导的参数在学习率上有相对较小的下降。

这可防止下降过快，或者在平坦区域下降过慢。

但是从训练开始时累计梯度平方会导致有效学习率过早和过量的减小。

5. RMSProp

RMSProp 修改 AdaGrad 以在非凸设定下效果更好，改变梯度累计为指数加权平均。

RMSProp 已被证明是一种有效且实用的深度神经网络优化算法。

注：\beta 的取值一般推荐为 0.999，\epsilon 的取值一般推荐为 10^{-8} 。

6. Adam

Adam 全称是 Adaptive Moments Estimation 。

Adam 是结合了 Momentum 和 RMSProp 的算法。

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

 

 

 

I can丶
关注
专栏目录
吴恩达深度学习（一）
qq_27184353的博客
02-17 960
神经网络本质上 输入与输出之间的一种映射关系  一般来讲有三种 standard 神经网络（计算广告）  CNN（处理图片）  RNN（包含时间）引入神经网络增强了计算机对于非结构化数据的处理能力。（图片来源于吴恩达教授深度学习之神经网络与深度学习1.3）传统机器学习的方法 : SVM (支持向量机) 逻辑回归  开始会随着数据量增加 性能有所提升但是很快进入“平台期”，这就导致其无法处理海量数据...
花书+吴恩达深度学习（八）优化方法之 Batch normalization
今天你学习了吗
12-03 295
目录 0. 前言 1. Batch normalization 训练 2. Batch normalization 测试 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（五）正则化方法（防止过拟合） 花书+吴恩达深度学习（六）优化方法之 Mini-batch（SGD, MBGD, BGD） 花书+吴恩达深度学习（七）优化方法之基本算法...
吴恩达深度学习＜笔记＞优化算法
weixin_43907580的博客
06-23 266
吴恩达深度学习优化算法一、1. Mini-batch gradient descent二、Gradient descent with momentumRMSpropAdam 优化算法学习率衰减 一、1. Mini-batch gradient descent 对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降，即每一步梯度下降法需要对整个训练集进行一次处理，如果训练数据集很大的时候，如有500万或5000万的训练数据，处理速度就会比较慢。 但是如果每次处理训练数据的一部
重磅：吴恩达最新的机器学习书籍《Machine Learning Yearning》两年磨一剑
最新发布
weixin_45600737的博客
06-07 363
这本书突破了理论层面，注重实际操作，让读者能够更好地应对真实世界中的机器学习挑战。吴恩达通过深入浅出的方式，解析了许多在实践中常见的问题，为读者提供了解决问题的思路和方法。总体而言，《Machine Learning Yearning》是一本致力于搭建实用机器学习系统的宝典，对于那些希望将理论知识转化为实际成果的读者来说，是一本不可多得的指南。吴恩达通过自身多年的实践经验，为读者提供了宝贵的指导，涵盖了从项目构建到调试、部署和维护等方方面面的实用技巧。
吴恩达课程深度学习笔记
js_sjtu的博客
02-08 347
1. Train / Dev / Test setsThen traditionally you might take all the data you have and carve off some portion of it to be your training set. Some portion of it to be your hold-out cross validation set,...
吴恩达神经网络和深度学习-学习笔记-11-Momentum梯度下降法
真理无穷，进一步有进一步的欢喜
07-16 354
Momentum的原理 这个算法肯定要好于没有Momentum的梯度下降算法（This will almost always work better than the straightforword gradient descent algorithm without momentum）。 Momentum梯度下降法的基本思想是：计算梯度的指数加权平均数，并用该梯度更新你的权重。 在常规梯度下降...
吴恩达 深度学习课后作业系列6
06-12
常见的优化算法有梯度下降（Gradient Descent）、随机梯度下降（Stochastic Gradient Descent, SGD）、动量法（Momentum）、Nesterov加速梯度（NAG）以及Adagrad、RMSprop、Adam等适应性学习率方法。 1. **梯度下降...
花书+吴恩达深度学习（九）优化方法之二阶近似方法（牛顿法, CG, BFGS, L-BFGS）
今天你学习了吗
12-03 3734
目录 0. 前言 1. 牛顿法 2. 共轭梯度法（CG） 3. BFGS 4. L-BFGS 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（五）正则化方法（防止过拟合） 花书+吴恩达深度学习（六）优化方法之 Mini-batch（SGD, MBGD, BGD） 花书+吴恩达深度学习（七）优化方法之基本算法（Momentum, N...
花书+吴恩达深度学习（六）优化方法之 Mini-batch（SGD, MBGD, BGD）
今天你学习了吗
12-03 2561
目录 0. 前言 1. Batch gradient descent（BGD） 2. Stochastic gradient descent（SGD） 3. Mini-batch gradient descent（MBGD） 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（五）正则化方法（防止过拟合） 花书+吴恩达深度学习（六）优化方...
吴恩达深度学习课程第二课 第2周 优化算法（中、英文版本）
01-19
因此，吴恩达课程中介绍了一些更先进的优化算法，如动量法（Momentum）、Nesterov动量法（NAG）、Adagrad、RMSprop和Adam。 1. 动量法（Momentum）：动量法引入了一个模拟物理惯性的概念，通过累积过去的梯度来加速...
吴恩达深度学习Mini-batch Gradient Descent 以及Momentum、Adam算法Python亲测调通版本
12-27
自己微调版本，含注释和数据集，一个程序就能运行，是吴恩达深度学习课程的课后作业
吴恩达《深度学习-改善深层神经网络》1--深度学习的实用层面
weixin_41043240的博客
02-03 1692
 数据集深度学习是基于经验的，即使是经验丰富的专家也很难再项目开始的时候就能够确定最优参数，比如神经网络的层数，每层的单元数，每层的激活函数，学习速率等，一般是先选择一个简单的模型，通过不断的迭代来修改各参数，直到最优解。法则一：一般在项目中会把数据集分成三份：训练集(training set)：用于模型训练验证集(developing set/dev set)：用于交叉验证测试集(test se...
Momentum梯度下降法（吴恩达深度学习视频）
weixin_44987948的博客
10-29 458
b站链接 Momentum梯度下降法总是快于标准的梯度下降算法，基本思想就是计算梯度的指数加权平均数，并计算该梯度更新权重。 如果你要优化成本函数，红点代表最小值的位置，如果用mini-batch梯度下降法，我们可以看到蓝色的线不断向最小值点接近，这种上下摆动减慢了梯度下降法的速度，这样就无法使用更大的学习率，如果学习率过大，结果可能会偏离函数的范围，未来避免脱离最小值，只能选择较小的学习率。 Momentum梯度下降法： 在每次迭代中，确切来说在第t次迭代的过程中，用现有的mini-batch计算dw、
吴恩达DeepLearning第二部分作业week2 优化器设计： min_batch、momentum梯度下降、adam优化算法
qq_30805765的博客
04-16 888
这次作业比较简单按照公式打就行： 首先导包，读取数据并查看数据 import numpy as np import matplotlib.pyplot as plt import opt_utils import time x_train, y_train = opt_utils.load_dataset() # print(x_train.shape) # print(y_train.shape) 构建神经网络 def init(x): first_num = 9 secon
吴恩达深度学习笔记之改善神经网络(三)
物理小乾乾
12-23 580
3.1 调试处理(Tuning process)神经网路的改变会涉及到许多不同的超参数的设置。下面我们介绍一些指导性原则。 关于训练深度最难的事情之一就是，我们要处理的参数的数量，从学习速率α\alpha 到momentum的β\beta ,如果使用momentum或者Adam优化算法的参数即β1{\beta _1},β2{\beta _2}以及ε{\rm{\varepsilon }},也许我们还
深度学习中优化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam
热门推荐
天泽28的专栏
05-22 6万+
深度学习中优化方法 —momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam—         我们通常使用梯
吴恩达机器学习（二）随机梯度下降算法练习
sddfsAv的博客
02-27 1376
随机梯度下降算法理论推导（待完成） 在吴恩达的机器学习课程中，在介绍了批量梯度下降算法后，又介绍了随机梯度下降算法，随机梯度下降算法在处理大批量数据的时候运算速度优于批量梯度下降算法。 讲义中并未提及该算法的具体推导，仅列出了算法的流程： Loop { for i=1i=1i=1 to m， θj:=θj−α(−∑i=1m(y(i)−h(xj(i)))xj(i))\theta_j := \thet...
Coursera吴恩达《优化深度神经网络》课程笔记（2）-- 优化算法
红色石头的专栏
10-26 2万+
我的CSDN博客地址：红色石头的专栏 我的知乎主页：红色石头 我的微博：RedstoneWill的微博 我的GitHub：RedstoneWill的GitHub 我的微信公众号：红色石头的机器学习之路（ID：redstonewill） 欢迎大家关注我！共同学习，共同进步！ 上节课我们主要介绍了如何建立一个实用的深度学习神经网络。包括Train/Dev/Tes...
各种优化方法总结比较（sgd/momentum/Nesterov/adagrad/adadelta）
blue_jjw的专栏
02-10 3万+
转自：点击打开链接 前言 这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。 SGD SGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。 对于训练数据集，我们首先将其分成n个batch，每个bat
吴恩达深度学习：优化4层神经网络的实战指南
Adam（Adaptive Moment Estimation）算法结合了动量梯度和RMSprop（Root Mean Square Propagation），它自适应地调整每个参数的学习率，根据动量项和梯度的一阶矩估计进行更新，通常能提供更好的收敛速度和稳定性。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值