神经网络中的Softmax是如何更新参数的

最新推荐文章于 2024-08-06 09:33:31 发布
最新推荐文章于 2024-08-06 09:33:31 发布
阅读量1w 收藏 9
点赞数 7
分类专栏： data mining & machine learning 文章标签： 神经网络 softmax 交叉熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjsghww/article/details/72766400
版权
本文深入探讨了神经网络中softmax如何更新参数。通过分析BP算法的缺点，提出使用ReLU函数解决梯度消失问题，并引入交叉熵作为损失函数。在softmax函数下，交叉熵损失函数使参数更新不受激活函数限制，特别是对于多分类任务，每个神经元的权重更新由样本类别决定，简化了更新过程。
摘要由CSDN通过智能技术生成

本文将从两个方面阐述神经网络中的softmax是如何更新参数的。
第一部分：BP算法怎么更新参数？缺点是什么？
第二部分：用了softmax怎么更新参数？

一、BP算法用二次经验误差作为代价函数

我们已经知道，BP算法在前向传播中，在每一个功能节点上先是线性组合算得一个状态值，然后用Sigmoid转换成一个激活值，最后一层中把这个激活值o跟真是标签做差求平方，得到某个样本的二次经验误差，作为向前矫正参数的代价函数。

E(i)=12∥∥y(i)−a(i)∥∥

模型最终的目标就是要让所有训练样本的这个误差之和最小。
Loss=∑i=0nE
最低0.47元/天 解锁文章
Maggie张张
关注
专栏目录
softmax的多分类
seaboat——a free boat on the sea.（公众号：远洋号）
07-13 3万+
关于多分类我们常见的逻辑回归、SVM等常用于解决二分类问题，对于多分类问题，比如识别手写数字，它就需要10个分类，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这里讨论另外一种方式来解决多分类——softmax。关于softmaxsoftmax的函数为P(i)=exp(θTix)∑Kk=1exp(θTkx)P(i)=\dfrac{exp(\theta_i^Tx)}{\sum_{k=
神经网络的传播（权重更新）
Aliz_
08-03 2万+
本文重在阐述神经网络里的前向传播和反向传播。 上一篇文章构建了一个简单的网络，可以看出来它对于手写数字的识别率还是可以高达91%。但我们尚未对神经网络处理的过程做出太多解释。 数据在网络中的传播有两种方式。一种是沿着输入到输出的路径，被称为前向传播。一种是从输出返回到输入，被成为反向传播(backprop)。 train_step = tf.train.GradientDescentOpti...
Softmax Regression多分类中的求导及参数更新
zxd131248的博客
07-06 2053
Softmax Regression是Logistic Regression的拓展，主要用于多分类问题。Softmax Regression一般与交叉熵损失函数结合使用，但是关于交叉熵损失函数的求导和参数更新资料比较少，讲的也不是让我很满意，所以决定自己写一篇，就当是总结一下自己的认识，和大家一起交流进步。首先是假设函数：假设有3个目标类别，直接使用Softmax Regression进行分类，注...
参数更新
weixin_38801709的博客
02-27 908
学习损失函数（Softmax或SVM）我们知道可以通过其计算出的损失值来评估一个权重矩阵对数据集的拟合能力。损失函数的公式为 对于一个图像xi，如果我们的预测与正是情况所符合，那么损失值就会很低甚至为0，但是初始权重所得到的损失值都很高，如何降低损失只则成为了最重要的部分。蒙眼徒步者的比喻：一个有助与我们理解的比喻就是把我们想象成一个蒙眼的徒步者，我们的目标就是走到山地，在cifar-10中的数据...
使用Weka进行数据挖掘与机器学习
最新发布
weixin_53840353的博客
08-06 1030
在当前大数据时代，数据挖掘与机器学习已经成为了不可或缺的技术。而Weka是一个非常流行的机器学习软件，它提供了一整套的机器学习算法和数据处理工具。Weka不仅支持命令行操作和GUI，还提供了Java API，非常适合Java开发者进行数据挖掘和机器学习任务。在这篇博客中，我们将深入探讨如何使用Weka进行数据挖掘与机器学习。我们将介绍Weka的基本概念，展示如何使用其Java API进行数据预处理、建模、评估和预测。我们会通过具体的代码示例来帮助读者更好地理解这一过程。
softmax求导
思维缜密的博客
09-30 541
粗体表示向量 softmax(x)=ex1Texsoftmax(\boldsymbol{x})=\frac{e^{\boldsymbol{x}}}{\boldsymbol{1}^T e^{\boldsymbol{x}}}softmax(x)=1Texex​ 其中1\boldsymbol{1}1是一个全111的向量 diag(x)=diag(x1,x2,⋯ ,xn)diag(\boldsymbol{x})=diag(x_1,x_2,\cdots,x_n)diag(x)=diag(x1​,x2​,⋯,xn​)
简单的神经网络实现softmax分类
07-27
总结来说，简单的神经网络实现softmax分类涉及以下几个关键点：softmax函数用于多分类输出，交叉熵损失作为优化目标，以及使用反向传播和梯度下降更新权重。通过Python库可以便捷地实现这一过程，为实际问题提供解决...
卷积神经网络系列之softmax，softmax loss和cross entropy的讲解
热门推荐
AI之路
08-17 18万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross entropy了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是...
神经网络参数更新公式推导（二）.docx
08-20
神经网络参数更新公式推导（二） 本文档详细推导了全连接深度神经网络权重矩阵（W）和偏置（B）递推公式，涵盖了整个网络框架到每一层配置的参数更新过程。该公式推导有助于理解 BP 反向传播算法和深度神经网络的...
09-python-theano-Softmax回归-人工神经网络-随机数流量
02-13
在Theano中实现Softmax回归，首先需要定义模型参数（权重和偏置），然后构建损失函数（通常是交叉熵），最后通过梯度下降或更高效的优化算法（如Adam）来更新参数。Softmax函数将线性得分转换为概率，确保所有概率之...
熵，交叉熵与softmax
weixin_49497024的博客
08-25 506
参考视频链接：各种熵视频了解 经常说交叉熵+softmax（或者交叉熵损失函数），应该是对多分类下，softmax作为最后一层输出，交叉熵再判断这softmax的概率和真实值之间对不对（感觉不对，应该是用softmax的公式去求交叉熵简化公式中的q(ci)q(c_i)q(ci​)）。二分类其实也可以，只是不常用softmax吧。softmax和sigmoid一样可以做激活，在最后一层就叫损失，前者多分类，后者二分类。 熵：是一个物理学概念,一个系统的不确定性程度，或者说是一一个系统的混乱程度。 信息熵：一
Softmax求导
nienelong3319的博客
03-15 1897
在神经网络中，我们经常可以看到以下公式，用于计算结点的激活值： 直接甩出Softmax的公式： n表示类别数，z表示输出向量，zj表示向量z的第j个值。 对Softmax求导： 显然是目标是和 根据求导的链式法则： 所以核心问题就转换为求，在接触到这个式子的时候，考虑到一个问题，为什么这里是对求导而不是对求导， 接下来举例说明： 从图中可以得到 z4 = w41*o1+w42*o2+w43*o3 z5 = w51*o1+w52*o2+w53*o3 z6 ..
Softmax回归
m0_51133942的博客
12-28 900
这是训练的结果。现在训练已经完成，我们的模型已经准备好对图像进行分类预测。给定一系列图像，我们将比较它们的实际标签（文本输出的第一行）和模型预测（文本输出的第二行）。可以看出预测是比较准确的，全都分类正确了。
神经网络中的Softmax激活函数
weixin_30670151的博客
02-03 942
Softmax回归模型是logistic回归模型在多分类问题上的推广，适用于多分类问题中，且类别之间互斥的场合。 Softmax将多个神经元的输出，映射到（0,1）区间内，可以看成是当前输出是属于各个分类的概率，从而来进行多分类。 假设有一个数组V，Vi表示V中的第i个元素，那么Vi元素的softmax值就是： 例如 V = [9,6,3,1] , ...
六、改进神经网络的学习方法（2）：Softmax输出层
dugudaibo的博客
08-14 7593
本文主要介绍改进神经网络的第二种方式，使用softmax输出层和log-likelihood函数，其优点在于，首先可以将输出值以概率分布的形式表达出来，其次避免了学习减速的问题。本文首先给出softmax输出层的定义，并对它的单调性和非局部性进行了证明；其次介绍likelihood函数，并给出了以softmax为输出层时的梯度表达式，从而证明了第二个优点。最后分析了该种方法的使用情况，及如何使用BP更新网络。
Softmax详解及其反向传播过程推导
baidu_41848695的博客
08-28 5234
Softmax函数公式 先讨论上面所述Softmax中的关键部分Pyi，再讨论为什么用-log(Pyi) 传统的逻辑回归模型（Logistic Regression，LR）主要解决二分类题，Softmax则是逻辑回归模型在多分类问题上的推广。所以我们从分析LR模型入手 从LR二分类模型理论推出为什么可以使用softmax训练神经网络 1、LR线性模型公式 2、LR二分类理论依据 （1）logi...
caffe中五种层的实现与参数配置（4）------softmax层
w_q_q2017的博客
01-27 972
Softmax回归模型是logistic回归模型在多分类问题上的推广，在多分类问题中，待分类的类别数量大于2，且类别之间互斥。 Softmax公式： 通常情况下softmax会被用在网络中的最后一层，用来进行最后的分类和归一化。 通常有2种结构： 第一种 #可以计算给出每个样本对应的损失函数值 layer { name: "loss" type: "SoftmaxWi
神经网络权重更新的原理和方法——神经网络之softmax(7)
石头的博客
05-09 3966
通过对本系列的学习，你可以全面的了解softmax的来龙去脉。如果你尚不了解神经网络，通过本系列的学习，你也可以学到神经网络反向传播的基本原理。学完本系列，基本神经网络原理就算式入门了，毕竟神经网络基本的网络类型就那几种，很多变种，有一通百通的特点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值