在深度学习中Softmax交叉熵损失函数的公式求导

最新推荐文章于 2024-07-08 17:54:34 发布

zq18239961260

最新推荐文章于 2024-07-08 17:54:34 发布

阅读量8.3k

点赞数 4

文章标签： softmax

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/zq18239961260/article/details/79003360

版权

本文介绍了在深度学习神经网络中，Softmax回归用于多分类问题，通过公式详细阐述了Softmax函数如何计算每个类别的概率，并对Softmax交叉熵损失函数进行了求导说明。

摘要由CSDN通过智能技术生成

(以下部分基本介绍转载于点击打开链接)

在深度学习NN中的output层通常是一个分类输出，对于多分类问题我们可以采用k-二元分类器来实现，这里我们介绍softmax。softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标 $\textstyle y$ 可以取 $\textstyle k$ 个不同的值（而不是 2 个）。因此，对于训练集 $\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}$ ，我们有 $y^{(i)} \in \{1, 2, \ldots, k\}$ 。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 $\textstyle k=10$ 个不同的类别。

对于给定的测试输入 $\textstyle x$ ，我们想用假设函数针对每一个类别j估算出概率值 $\textstyle p(y=j | x)$ 。也就是说，我们想估计 $\textstyle x$ 的每一种分类结果出现的概率。因此，我们的假设函数将要输出一个 $\textstyle k$ 维的向量（向量元素的和为1）来表示这 $\textstyle k$ 个估计的概率值。具体地说，我们的假设函数 $\textstyle h_{\theta}(x)$ 形式如下：

最低0.47元/天解锁文章

关注

4
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
在深度学习中Softmax交叉熵损失函数的公式求导

(以下部分基本介绍转载于点击打开链接)在深度学习NN中的output层通常是一个分类输出，对于多分类问题我们可以采用k-二元分类器来实现，这里我们介绍softmax。softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标可以取个不同的值（而不是 2 个）。因此，对于训练集，我们有。（注意此处的类别下标从 1 开始，而不是 0
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。