【mechine learning-十-梯度下降-学习率】

于 2024-09-16 19:46:49 发布
阅读量207 收藏 1
点赞数 8
分类专栏： 深度学习 人工智能 机器学习 文章标签： 线性回归 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zishuijing_dd/article/details/142303820
版权

学习率


在梯度下降算法中，学习率的选择很重要，不恰当的选择，甚至可能导致损失发散，而非收敛，下面就看一下学习率的影响。

学习率

学习率是下图中的红框圈出来的部分，
在这里插入图片描述
学习率是模型的超参数，输入模型用来更新权重，那么它的大小意味着什么呢？

不同的学习率

小的学习率，意味着公式中学习率和偏导数的乘积值变得很小，那梯度下降就会很慢，收敛的时间就会很长。
大的学习率，导致公式中学习率和偏导数的乘积值变化很大，虽然某一步可能损失变化很大，但很可能会错过局部极小值，导致一直在极值附近打转，损失不仅不会收敛反而会导致发散的结果，就像下图中下面那个图片显示的一样。
92f5e378b9bf.png)
虽然学习率固定，但是当合适的学习率，导数项会有变化，就以上图中导数刚开始的变化很大，到局部最小值的时候，导数为0

y_dd
关注
专栏目录
【mechine learning-十-grading descent梯度下降实现】
zishuijing_dd的博客
09-16 282
grading descent 算法就是更新参数，今天来学习下如何更新w和b。
Machine Learning（Stanford）| 斯坦福大学机器学习笔记--第一周（4.梯度下降）
tiweeny的博客
06-24 409
一.Gradient Descent(梯度下降) 之前已经定义了代价函数J，为了最小化代价函数，接下来将介绍梯度下降（Gradient Descent）这种算法。梯度下降是很常用的算法，它不仅被用在线性回归上，实际上也被广泛的应用于机器学习领域中的众多领域。为了解决其他线性回归问题，我们也将使用梯度下降法最小化其他函数，而不仅仅是只用在本节课的代价函数J。 下面是问题概述，首先看图1-1，
Mechine Learning 机器学习笔记
m0_63290947的博客
01-19 733
复旦大学邱锡鹏教授《神经网络与深度学习》课程学习笔记，快速了解机器学习大致内容，包括全连接前馈神经网络FNN、卷积神经网络CNN、循环神经网络RNN等
机器学习(Mechine Learn) - 线性回归
xuanyuanlei1020的专栏
12-25 448
作为一个没接触过机器学习或者深度学习（或者叫做人工智能AI，其实严格意义上只是人工智能的一个分支）的小白（没错就是我），参加了公司组织的两次培训，自己终于对这个领域有一个感性的认识了，谢谢我东家！！爱你，么么哒！！ 机器学习 线性回归(linear regression) 英文好的建议直接阅读（人家写的真心的好啊）： https://towardsdatascience.com/introduc...
《Machine Learning in action》- （笔记）之Logistic regression（2_实战篇）
Tp_darenwu的博客
05-28 418
《Machine Learning in action》，机器学习实战（笔记）之Logistic regression 使用工具 - Python3.7 - pycharm - anaconda - jupyter notebook 一、前言 在上一篇中，我们介绍了梯度上升算法，，而在这一篇中。我们将对前面的算法进行改进，随机梯度上升算法，我们同时将会进行，对比，分析其中的优缺点，并对skle...
Machine Learning：Gradient Descent（梯度下降法）
King_HAW
02-21 471
Machine Learning：Gradient Descent（梯度下降法） 梯度下降法是机器学习中最常用的几种优化方法之一，目的为了找到合适的参数向量θ θ\theta，使得代价函数J(θ) J(θ)J(\theta)最小，梯度下降法的用途很广，本文中介绍使用梯度下降法来最小化线性回归问题中的J(θ) J(θ)J(\theta)。 基本概念： 输入(I...
Udacity DEEPLEARNING 学习笔记 L1 Mechine Learning to DeepLearning
somTian的博客
11-13 2328
L1 Mechine Learning to DeepLearning
[Mechine Learning & Algorithm] 神经网络基础
zdy0_2004的专栏
06-19 1132
http://www.cnblogs.com/maybe2030/p/5597716.html 阅读目录 1. 神经元模型 2. 感知机和神经网络 3. 误差逆传播算法 4. 常见的神经网络模型 5. 深度学习 6. 参考内容 　　目前，深度学习（Deep Learning，简称DL）在算法领域可谓是大红大紫，现在不只是互联网、人
机器学习----回归问题
小崔童鞋的博客
05-06 3247
1.序言这个系列主要总结一些自己在coursera上的课堂笔记。cousera上的机器学习课程是大名鼎鼎的Andrew NG(吴恩达)老师讲的，讲的深入浅出，真的是良心课程。课程录制在2011年，当时各种DNN还没有那么火，CNN用到图像分类是在2012年，所以课程的内容有点旧，但机器学习的思想仍是很重要的。2.简介ML(Mechine Learing)叫做机器学习，我们在网上看到的垃圾邮件的过滤，
matlab求累加代码-mechineLearning-1:机器学习算法python实现
05-19
其中为学习速率，控制梯度下降的速度，一般取0.01,0.03,0.1,0.3..... 为什么梯度下降可以逐步减小代价函数 假设函数f(x) 泰勒展开：f(x+△x)=f(x)+f'(x)*△x+o(△x) 令：△x=-α*f'(x) ,即负梯度方向乘以一个很小的...
深度极限学习机_多层极限学习机_Deep-extreme-learning-mechine_matlab
03-19
资源名：深度极限学习机_多层极限学习机_Deep-extreme-learning-mechine_matlab 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能运行可联系我进行指导...
mechine_learning:机器学习源码-机器学习
03-24
例如损失函数的定义、优化器的选择（如梯度下降、随机梯度下降、Adam等）、正则化方法（L1、L2）、特征缩放处理、数据预处理步骤、模型训练与验证过程，甚至可能包括模型评估指标（如准确率、召回率、F1分数、AUC值...
OReilly_Hands-On Machine Learning代码_mechinelearning_
10-01
深度学习四大名著：OReilly.Hands-On.Machine.Learning.with.Scikit-Learn.and.TensorFlow.2017.3Python源码
【AI大模型】Kimi API大模型接口实现
最新发布
qq_25888559的博客
09-15 806
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1089
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 640
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
Djourney新手入门基础，AI摄影+AI设计+AI绘画-AIGC作图
DAMOXINGHAITAI的博客
09-14 895
（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
常见本地大模型个人知识库工具部署、微调及对比选型
09-14 838
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！文章从起笔写到这里已经过了三天了，这三天也基本把上文提到的大模型侧工具全部体验了一遍，下面说一下主要结论吧。从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。从企业级稳定性和高可用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值