cs231n笔记--到底什么是梯度消散

最新推荐文章于 2024-01-08 12:29:31 发布
最新推荐文章于 2024-01-08 12:29:31 发布
阅读量1.4k 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwlq1314521/article/details/77837970
版权
这篇博客通过分析一个简单的神经元block，解释了梯度消散现象。在前向传播中，输入与权重相乘，而在后向传播中，由于权重较小，导致从下一层网络传回的梯度显著减小，这在深层网络中尤为明显，限制了浅层网络参数的训练，使得在Resnet出现前，CNN网络的层数通常不超过20层。
摘要由CSDN通过智能技术生成

笔记来自 CS231n Winter 2016: Lecture 4: Backpropagation, Neural Networks 内容

地址为：http://www.microsofttranslator.com/bv.aspx?ref=SERP&br=ro&mkt=zh-CN&dl=zh&lp=EN_ZH-CHS&a=http%3a%2f%2fcs231n.stanford.edu%2fsyllabus.html
如果你被墙了，去bilibili找


当梯度传播到中间层的神经元f时，如图上图所示，来自上一层的梯度dLdz从右边z进入，传到中间的神经元。此神经元在左边有两个输入，分别是x和y，为了计算L对于x和y的梯度dLdx和dLdy，就必须先计算dzdx和dzdy，根据复合函数求导公式，dLdx = dLdz * dzdx，dLdy = dLdz * dzdy，这样就能算出传播到x和y的梯度了。也就是说通过这个方法，来自深一层的梯度就能传播到x和y当中。

让我们来考虑

最低0.47元/天 解锁文章
刘二毛
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习 --- stanford cs231学习笔记二(神经网络和反向传播)
松下J27录放机
05-19 828
stanford cs231学习笔记二(神经网络和反向传播)
cs231N中文版笔记
01-12
来自知乎专栏。。我保存成pdf了，A4大小，方便打印。分享给各位。 深度学习；计算机视觉。 斯坦福大学李飞飞计算机视觉公开课笔记，翻译版本。
CS231n 笔记汇总
热门推荐
谢军的博客
12-11 1万+
CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recognition，即面向视觉识别的卷积神经网络。该课程是斯坦福大学计算机视觉实验室推出的课程。需要注意的是，目前大家说CS231n，大都指的是2016年冬季学期（一月到三月）的最新版本。
cs231n计算机视觉课程笔记
SereneL9的博客
01-11 1319
P2 目标识别 PASCAL 数据集 一个ImageNet（1500w—4000w、22000类） P3 2012： AlexNet 7-8 层 2014：VGG网络 19层 2015：残差网络152层 1998 LeCun CNN诞生用于数字识别，2012才开始流行的原因：计算能力、标签↑ P4 图像分类-数据驱动方法 计算机眼中的图像：一大堆数字：800*600的像素，每个像素由三个值表示（红、绿、蓝） 问题：语义鸿沟存在于人类定义的语义概念与计算机实际看到的像素值之间。 challenge：
cs231n完整笔记整理
weixin_30611509的博客
08-04 246
https://zhuanlan.zhihu.com/p/21930884 转载于:https://www.cnblogs.com/Manuel/p/11297337.html
什么叫梯度消失？
weixin_40551464的博客
01-08 2059
它指的是在网络的反向传播过程中，用于更新网络权重的梯度变得非常小，以至于几乎不对权重产生任何显著的更新。使用残差连接（Residual Connections）：例如，在ResNet架构中使用的残差连接允许一部分梯度直接流过网络，从而减少梯度消失的影响。使用ReLU激活函数：ReLU（Rectified Linear Unit）函数在正数区间的导数是常数，这有助于缓解梯度消失的问题。不恰当的激活函数：例如，Sigmoid和Tanh激活函数在输入值很大或很小的时候导数接近于零，这会使梯度变得非常小。
cs231n-2018-Assignment3
03-03
【cs231n-2018-Assignment3】是斯坦福大学计算机科学课程CS231n（视觉识别）2018年的第三次作业，这个资源包含了spring1718学期最新的源代码和学习资料。这个作业的核心是深入理解和应用深度学习，特别是卷积神经...
2023最新CS231N课程笔记
最新发布
01-12
综上所述，2023年CS231n课程笔记为学习者提供了一个全面了解计算机视觉的平台，通过深入学习和实践，可以提升对图像理解、模式识别和智能分析的能力，为未来在这个领域的研究和开发打下坚实基础。
CS231N-演讲笔记：我对Andrej Karpathy的CS231N的演讲笔记
02-04
cs231n-演讲笔记 我的Andrej Karpathy的CS231N和作业解决方案的讲义。 笔记 :notebook: 第1课只是介绍，所以我在那里没有做任何记录 解决方案 :microscope: 作业1 完成 DONE 完成 完成 完成 作业2 进展
cs231n课程笔记
10-06
《CS231n课程笔记》是一份针对机器学习初学者的重要资料，尤其对那些希望深入了解计算机视觉领域的学习者极具价值。这份笔记基于斯坦福大学的计算机科学课程CS231n，涵盖了广泛的理论概念、算法和技术，旨在帮助读者...
深度学习初学者推荐&怎么在本地完成CS231n课程作业-配置环境
01-20
【深度学习初学者入门推荐与CS231n课程作业本地环境配置】 深度学习是人工智能领域的一个重要分支，对于初学者来说，选择合适的资源和掌握正确的学习路径至关重要。CS231n是斯坦福大学开设的一门关于视觉识别的深度...
斯坦福CS231N笔记（手写板）
10-29
自我记录，第二周学习知识CS231N笔记，参考课程同济子豪兄翻讲。
CS231 笔记
Accsc的博客
05-18 491
SGD with momentum有两种写法 效果等价 Adam中的bias correction项的存在是出于以下考虑：first_momentum以及second_momentum都初始化为0，为了仅在开始的几次迭代中增大他们的影响，增加了一个参数为t的correction，值得注意的是，t的值随时间增大，也就是说放大效果越来越弱。 ...
cs231n笔记
laowulong350的博客
04-29 1305
第一课：李飞飞授课 cs231a —— 更宽泛、涵盖更全面的计算机视觉课程。cs231n专门讨论cnn。 CVPR, ICCV —— 重要的计算机视觉会议 Block world (Larry Roberts, 1963) David Marr's book: VISION Normalized Cut (Shi & Malik, 1997) 将图像分割为有意义的块 Face ...
CS231n笔记（一）
Miss_leading的博客
03-25 347
CS231n（一） Challenges 视角 明暗 变形 遮挡 背景混乱 类内差异 def classify_image(image): # Some magic here? return class_label 数据驱动 收集数据集（图片 and 标签） 训练一个分类器 使用新图片去评估分类器 第一个分类器——最近邻 使用一个函数接收数据，进行训练 另外一个函数使用新的数据评估模型 def train(image, label): # Machine Learning return m
神经网络中的梯度消失
xiaoyaGrace的博客
12-25 1215
什么是梯度消失？ 神经元的权重w和偏置b是和激活函数的梯度成正比的，激活函数导数越大，则w，b调整越快，如果激活函数梯度很小，在反向传播时，多个小于0的导数相乘，随着神经网络层数的加深，梯度方向传播到浅层网络时，基本无法引起全职的波动，也就是没有将loss的信息传递到浅层网络，这样网络就无法训练学习了。这就是所谓的梯度消失。 以sigmoid激活函数为例： sigmoid(x)=...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值