![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
杭州草民
这个作者很懒,什么都没留下…
展开
-
Softmax反向传播
softmax 公式:假设有一个向量,其长度为,表示中的第个元素,那么这个元素的softmax值为:Softmax反向传播当j!=i时,当j=i时,所以 将上面两个式子加起来得到注意上式括号里面的量与无关,并且其值为与的乘积之和,设其为则有人问这有什么意义?其实这样就说明softmax的反向传播在编程的时候并不需要 分i=j和i...原创 2019-05-30 11:42:32 · 1481 阅读 · 0 评论 -
矩阵求导
矩阵在机器学习中用的比较多,比如反向传播的时候,本来矩阵相关运算的反向传播很简单,但是网上的资料都写的很复杂,我尽量以简单的形式来表述矩阵相关运算的反向传播过程。矩阵相乘的反向传播 矩阵点乘的反向传播 矩阵乘向量的反向传播 向量乘矩阵的反向传播 矩阵乘标量的反向传播本文用表示标量,表示向量,表示矩阵,表示列向量,表示行向量矩阵相乘反向传播设为3行2列的矩阵,为2行4列的矩阵,...原创 2019-05-23 18:12:37 · 352 阅读 · 1 评论