梯度下降小结

最新推荐文章于 2024-09-01 16:57:39 发布
最新推荐文章于 2024-09-01 16:57:39 发布
阅读量125 收藏
点赞数 2
分类专栏： 深度学习基础 文章标签： python 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangsj1007/article/details/136994063
版权

1.梯度下降法（Batch Gradient Desent，BGD）：

总体m个样本，损失函数：

J(\theta_0,\theta _1) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta (x^{(i)} ) - y^{(i)})^2

计算损失函数梯度：

g = \frac{\partial J(\theta _0,\theta _1)}{\partial \theta _j} = \frac{1}{m}\sum_{i=1}^{m}(h_\theta (x^{(i)}) - y^{(i)})) {x_j}^{(i)}

参数更新：

\theta_j := \theta _j - \alpha g

2.随机梯度下降法（Stochastic Gradient Desent，SGD）：

对于一个样本的损失函数：

J^{(i)}(\theta _0, \theta _1) = \frac{1}{2} (h_\theta (x^{(i)}) - y^{(i)})^2

计算损失函数的梯度：

\frac{\partial J^{(i)(\theta _0, \theta _1)}}{\partial \theta _j} =(h_\theta (x^{(i)}) - y^{(i)}) {x_j}^{(i)}

参数更新：

\theta _j := \theta_j - \alpha (h_\theta (x^{(i)}) - y^{(i)}) {x_j}^{(i)}

3.小批量梯度下降(Mini-batch Gradient Desent ， MBGD)

m^{'}个样本的损失函数

J(\theta_0,\theta _1) = \frac{1}{2m^{'}}\sum_{i=1}^{m^{'}}(h_\theta (x^{(i)} ) - y^{(i)})^2

损失函数的梯度：

g = \frac{\partial J(\theta _0,\theta _1)}{\partial \theta _j} = \frac{1}{m^{'}}\sum_{i=1}^{m^{'}}(h_\theta (x^{(i)}) - y^{(i)})) {x_j}^{(i)}

参数更新：

\theta_j := \theta _j - \alpha g

小结：BGD稳定，但是计算的慢；SGD不稳定，但是计算的快，MBGD综合了BGD和SGD

Happy_Traveller
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
梯度下降算法原理讲解——机器学习
我是张跑跑
01-21 35万+
详细来讲讲梯度下降算法的原理，感受数学和程序的魅力吧！！
【DL】梯度下降小结
weixin_33795093的博客
02-28 77
温故知新 https://www.cnblogs.com/pinard/p/5970503.html
梯度下降法小结
weixin_30607029的博客
10-16 467
1. 前言 今天我们聊一聊机器学习和深度学习里面都至关重要的一个环节，优化损失函数。我们知道一个模型只有损失函数收敛到了一定的值，才有可能会有好的结果，降低损失方式的工作就是优化方法需要做的事。下面会讨论一些常用的优化方法：梯度下降法家族、牛顿法、拟牛顿法、共轭梯度法、Momentum、Nesterov Momentum、Adagrad、RMSprop、Adam等。 优化过程的示意图如下： 2....
梯度下降（Gradient Descent）小结
mygodness123321的专栏
12-25 235
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 具体如下： http://www.cnblogs.com/pinard/p/5970503.html
ML-0101-梯度下降小结
Levine Huang
10-25 1030
基本概念 梯度 梯度下降 梯度下降的相关概念 梯度下降算法 算法过程 梯度下降的各种变体BGDSGDMBGD 批量梯度下降Batch gradient descent 随机梯度下降Stochastic gradient descent 小批量梯度下降Mini-batch gradient descent 梯度下降的算法调优 梯度下降法和其他无约束优化算法的比较 无约束优化算法 无约束优化算法的比较
tensorflow 梯度下降方法小结
Steve Wang's blog
02-15 1476
最一般的就是梯度下降。 train = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost) 以下是除梯度下降之外可选的方法： tf.train.AdadeltaOptimizer tf.train.AdagradOptimizer tf.train.AdagradDAOptimizer tf.train.Mome...
梯度下降算法分析的总结ppt
03-02
常见梯度下降算法latex版本的ppt，主要描述了梯度下降变体BGD，SGD，MBGD，梯度优化算法Momentum、Nesterov accelerated gradient、AdaGrad、RMSProp、Adadelta、Adam，以及如何去选择和使用他们
最速下降法极小化rosenbrock函数 代码_机器学习系列（四）—— 梯度下降
weixin_39771969的博客
11-21 1021
梯度下降梯度下降(Gradient Descent)是求解机器学习模型参数最常用的方法之一，我们的《机器学习系列》前几章已经提到了梯度下降，并对此进行了简单描述。近期恰好读到刘建平Pinard老师写的《梯度下降小结》很详尽，故在此基础上略微改动分享给大家。1 梯度在微积分里，对多元函数参数求偏导数，把求得的各个参数的偏导数以向量形式写出来，就是梯度。比如函数, 分别对、求偏导数，求得的梯...
python12 中，No module named‘distutils‘错误
热门推荐
qq_43557600的博客
08-27 1万+
python12 “ No module named'distutils' ”,​ 安装 pip install setuptools ，解决 ​
centos7 安装 superset4.0.2 教程
m0_37759590的博客
08-27 1万+
centos7 安装 superset4.0.2 教程
【python】关于判断空值None、判断len()=0，和 if not 的区别
Meggie35的博客
08-28 6689
python的“空”与“无”之辩，关于None，和空数值。在程序中，判断里面没有值和判断东西是不是为空，也是不一样的东西，我们可以往下看看具体的区别。
【Python-办公自动化】批量修改EXCEL指定内容
2202_76035290的博客
08-29 3047
欢迎来到"花花 Show Python"，一名热爱编程和分享知识的技术博主。在这里，我将与您一同探索Python的奥秘，分享编程技巧、项目实践和学习心得。无论您是编程新手还是资深开发者，都能在这里找到有价值的信息和灵感。我热衷于将复杂的技术概念以简单易懂的方式呈现给大家，让每个人都能享受到编程的乐趣。我相信，通过不断的学习和实践，我们都能够成为更好的开发者。如果您喜欢我的内容，别忘了点击关注哦！这样您就可以第一时间获取我的更新和分享。您的支持是我不断前进的动力。
JVM 内存参数
iOS逆向与安全
08-29 2127
它屏蔽了与具体操作系统平台相关的信息，使Java程序只需生成在Java虚拟机上运行的目标代码（字节码），就可以在各种平台上不加修改的运行。‌例如，‌可以将最小堆内存设置为2GB（‌-Xms2048m）‌，‌最大堆内存设置为4GB（‌-Xmx4096m）‌。如果初始化的高水位线设置过低，会频繁的触发Full GC，高水位线会被多次调整。一般来说，垃圾回收器都会有默认的对象晋升到老年代的年龄参数阈值，CMS默认是6，G1默认是15，不过这参数值也不是一成不变的，它会根据动态年龄判断规则来重新被赋值。
【Python报错已解决】`TypeError: ‘numpy.ndarray‘ object is not callable`
最新发布
鸽芷咕的博客
09-01 209
在编程中，你是否遇到过尝试调用一个Numpy数组对象时出现了`TypeError: 'numpy.ndarray' object is not callable`的报错？这个问题通常是由于误将Numpy数组当成了一个函数来调用。接下来，我们将分析这个问题并提供解决方案。
宝塔面板网站SSL证书到期如何手动和自动续签Let’s Encrypt
weixin_45734165的博客
08-27 1584
宝塔面板提供2种免费的SSL证书：宝塔SSL，Let’s Encrypt。前面第1，2步骤主要是手动续签，比较稳定可靠，唯一的缺点是需要进入后台进行操作，并且有时候可能忘记续签。实际上宝塔面板还提供了很多计划任务的脚本，可以自动续签Let’s Encrypt证书。不管是给网站部署SSL还是给网站SSL续签，利用宝塔后台来进行网站SSL证书的管理还是比较方便高效的。2.手动续签：网站设置后台点击【SSL】》【Let’s Encrypt】》【续签】1.手动续签：登录宝塔面板后台，点击【网站】》【设置】
yield：生成器
mohen_777的博客
08-28 1075
作为生成器，因为每次迭代就会返回一个值，所以不能显示的在生成器函数中return 某个值，包括None值也不行，否则会抛出“SyntaxError”的异常，但是在函数中可以出现单独的return，表示结束该语句。使用yield，可以让函数生成一个序列，该函数返回的对象类型是"generator"，通过该对象连续调用next()方法返回序列值。另外一种说法：生成器就是一个返回迭代器的函数，与普通函数的区别是生成器包含yield语句，更简单点理解生成器就是一个迭代器。处为止，next()的返回值就是生成值。
Java—Stream流
向上的咸鱼blueblue的博客
08-27 1483
本文详细介绍了JAVA中有关Stream的相关内容。
机器学习的逻辑回归小结
08-15
逻辑回归是机器学习中一种常见的分类算法，它的主要思想是利用一个逻辑函数将输入的特征映射到一个概率值，从而实现分类。以下是逻辑回归的小结： 1. 逻辑回归是一种二分类算法，可以用于预测离散的输出值。 2. 逻辑回归的模型是一个逻辑函数，将输入的特征映射到一个概率值。 3. 逻辑回归的损失函数是对数损失函数，可以用梯度下降等优化算法来求解。 4. 逻辑回归可以通过正则化来避免过拟合，常用的有L1和L2正则化。 5. 逻辑回归可以处理线性可分和线性不可分的数据，但对于非线性可分的数据表现不佳。 6. 逻辑回归的应用场景广泛，如信用评估、医学诊断、广告推荐等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值