算子学习
文章平均质量分 63
工作中涉及的算子总结
zxros10
这个作者很懒,什么都没留下…
展开
-
softmax学习笔记
在深度学习中,使用 Softmax 作为激活函数,对 0 到 1 之间的向量中每个值的输出和尺度进行归一化。Softmax 用于分类任务。在网络的最后一层,会生成一个 N 维向量,分类任务中的每个类对应一个向量。Softmax是给每个输出分类的结果都赋予一个概率值,表示属于每个类别的可能性。计算公式:其中 z(i)为第i个节点的输出值,C为输出节点的个数,即分类的类别个数。通过Softmax函数就可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布。softmax将前一级的输出原创 2022-04-11 17:11:19 · 744 阅读 · 1 评论 -
激活函数学习
记录下激活函数讲解比较完备详细的博客常用激活函数(激励函数)理解与总结深度学习—激活函数详解(Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swishGLU...原创 2022-04-01 16:18:45 · 68 阅读 · 0 评论 -
Rnn Lstm Gru Sru学习小结
1.RnnRnn的详细介绍可以参考深度学习之RNN(循环神经网络)零基础入门深度学习(5) - 循环神经网络详解循环神经网络(Recurrent Neural Network)基本原理和算法可以参考下图:这里表示的是一个Rnn单元。由左图可以知道Rnn单元的计算公式:这里O(t)是当前时刻的输出,S(t)是当前时刻的隐藏层状态。X(t)是当前的输入,它是一个词根的向量表示,向量由x1、x2、x3...等分量组成。注意这里x1、x2、x3要和循环神经网络的Rnn...原创 2022-03-25 14:04:44 · 2974 阅读 · 0 评论