正向传播与反向传播（forward-propagation & back-propagation）

最新推荐文章于 2024-11-28 22:23:01 发布
最新推荐文章于 2024-11-28 22:23:01 发布
阅读量8.4k 收藏 16
点赞数 4
分类专栏： 深度学习-李牧 学习笔记 文章标签： 正向传播 反向传播
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangyugebb/article/details/101315663
版权
本文介绍了正向传播和反向传播在神经网络中的作用。正向传播是从输入到输出的计算过程，反向传播则利用链式法则计算参数梯度。在训练模型时，两者交替进行，反向传播的梯度计算用于优化模型参数。理解反向传播的基本原理——链式法则，是深度学习的关键之一。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

正向传播（forward-propagation）：指对神经网络沿着输入层到输出层的顺序，依次计算并存储模型的中间变量。

反向传播（back-propagation）：沿着从输出层到输入层的顺序，依据链式法则，依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。

反向传播是一种计算神经网络参数梯度的方法

对于输入或输出X，Y，Z为任意形状张量的函数 Y=f(x) 和 Z=g(Y) 通过链式法则，则有：

                                                                        

最低0.47元/天 解锁文章
正向传播和反向传播
ZJQ的博客
08-08 522
一、正向传播：沿着从输入层到输出层的顺序，依次计算并存储神经网络的中间变量。二、反向传播：沿着从输出层到输入层的顺序，依次计算并存储神经网络的中间变量和参数的梯度。三、关系：在训练深度学习模型时，正向传播和反向传播相互依赖。一方面，正向传播的计算可能依赖于模型参数的当前值，而这些模型参数是在反向传播的梯度。另一方面，反向传播的梯度计算可能依赖于各变量的当前值，而这些变量的当前值是通过正向传 播计算得到的。计算后通过优化算法迭代的。...
【深度学习】正向传播、反向传播和计算图（backprop）
风口IT猪的成长录
11-23 2301
正向传播、反向传播和计算图正向传播、反向传播和计算图正向传播正向传播的计算图反向传播训练深度学习模型小结 正向传播、反向传播和计算图 前面几节里我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播（forward propagation）的计算，即对输入计算模型输出，然后通过autograd模块来调用系统自动生成的backward函数计算梯度。 基于反向传播（back-propagation）算法的自动求梯度极大简化了深度学习模型训练算法的实现。本节我们将使用数学和计算图（
神经网络与深度学习笔记（二）正向传播与反向传播
沧夜的成长日记
06-15 2113
正向传播 正向传播计算的是神经网络的输出 如上图，就是一次类似的正向传播的过程，正向传播计算最后的输出值。 将J(a,b,c)=3(a+b∗c)J(a,b,c) = 3(a + b * c)J(a,b,c)=3(a+b∗c)这一个式子用uuu, vvv 来代替： u=b∗cu = b * cu=b∗c v=a+uv = a + uv=a+u $ j = 3 * v$ 最后求出jjj的值 反向传播 反向传播计算神经网络的梯度以及微分 如上图是一个类似的反向传播的过程。 对图中右侧的输出 j=3∗vj =
前向传播算法(Forward propagation)与反向传播算法(Back propagation)
qq_44929388的博客
04-21 1385
虽然学深度学习有一段时间了，但是对于一些算法的具体实现还是模糊不清，用了很久也不是很了解。因此特意先对深度学习中的相关基础概念做一下总结。先看看前向传播算法(Forward propagation)与反向传播算法(Back propagation)。1.前向传播如图所示，这里讲得已经很清楚了，前向传播的思想比较简单。 举个例子，假设上一层结点i,j,k,…等一些结点与...
DNN的编码器-解码器视角：正向传播与反向传播深度解析
本文旨在提供一个深入的视角来解析DNN的正向传播（forward-propagation）和反向传播（back-propagation）过程，将其视为两个独立但相关的网络结构：fp-DNN（forward-propagation DNN）和bp-DNN（back-propagation ...
前向传播算法 Forward propagation 与反向传播算法 Back propagation
qq_45078907的博客
05-22 141
前向传播算法 Forward propagation 与反向传播算法 Back propagation
深度学习入门：2.正向传播和反向传播
weixin_43946736的博客
05-15 1591
本章通过一个例子让大家更好理解深度学习，同时对正向传播和反向传播理解更加清晰
深度学习-正向传播&反向传播
无能狂怒博客
10-27 1157
正向传播&反向传播
【深度学习】正向传播、反向传播与优化函数
冷芝士鸭的学习笔记
04-03 6158
4.6 正向传播 4.7 反向传播
【机器学习】正向传播与反向传播
最新发布
weixin_62403234的博客
11-28 1361
神经网络的训练过程中，正向传播（Forward Propagation）和反向传播（Backward Propagation）是两个核心步骤，分别涉及到信息的传递和误差的调整。
吴恩达深度学习细节补充（一）——正向传播与反向传播
热门推荐
livan1234的博客
08-10 1万+
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。 我的公众号为：livandata
深度神经网络(DNN)正向传播与反向传播推导（通俗易懂）
JJJasmine的H君的博客
08-18 3181
一、前言 我在之前的博客里面介绍过浅层的神经网络，现在就从浅层神经网络出发，介绍深度神经网络（DNN）的正向传播和反向传播。希望网友们看本博客之前需要对神经网络有个简单的了解，或者可以看博客初探神经网络（深度学习入门）进行了解学习。 本文将结合吴恩达的视频、作业及其个人的理解进行写作，如有不对的地方，还望指正。 二、DNN的模型 神经网络有一个输入层、多个隐含层和一个输出层组成。每个隐含层都执行了线性操作和激活函数操作。 三、DNN的前向传播 ...
batch normalization 正向传播与反向传播 both naive and smart way
Line290的博客
09-13 627
http://blog.csdn.net/xiaojiajia007/article/details/54924959 Both naive and smart way to implement Backprop.
神经网络的正向传播和反向传播（转）
建建的博客
10-03 1064
反向传播：重点掌握链式法则（偏导的求法） 感谢博主，以下计算参考链接：一文弄懂神经网络中的反向传播法——BackPropagation - Charlotte77 - 博客园 **************************************************************************** 输入→卷积（激活函数）……→输出 以上图为例，并赋值，分别计算正向传播和反向传播。（图中省略了激活函数sigmoid）。激活函数的公式如下： sigmod求导过程参
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值