矩阵乘法求导计算公式推导

参考博客：
https://www.cnblogs.com/milaohu/p/7337330.html?utm_source=itdadao&utm_medium=referral
对于函数：
$$y=f(AB)=f(C)$$
A维度(n, m)
B维度(m, k)
C维度(n, k)
y是标量
现在 求$\frac{\partial y}{\partial A}$和$\frac{\partial y}{\partial B}$
标量对矩阵求导可以看作对矩阵的每一个元素求导。然后把结果按照矩阵的排列方式摆放，得到一个相同维度的梯度矩阵。
先求y对A中每个元素的导数，根据链式法则：
$$\frac{\partial y}{\partial A_{p,q}}=\sum _{i,j}\frac{\partial y}{\partial C_{i,j}}\frac{\partial C_{i,j}}{\partial A_{p,q}}$$
根据矩阵乘法定义：
$$C_{i,j}=\sum _h{A}_{i,h}{B}_{h,j}$$
所以，当$i\ne p$时，$C_{i,j}$与 $A_{p,q}$无关：
$$\frac{\partial C_{i,j}}{\partial A_{p,q}}=\{\begin{array}{ll}{B}_{q,j}& i=p\\ 0& i\ne p\end{array}$$
代入前面的式子，我们有：
$$\frac{\partial y}{\partial A_{p,q}}=\sum _{i,j}\frac{\partial y}{\partial C_{i,j}}\frac{\partial C_{i,j}}{\partial A_{p,q}}=\sum _j\frac{\partial y}{\partial C_{p,j}}\frac{\partial C_{p,j}}{\partial A_{p,q}}=\sum _j\frac{\partial y}{\partial C_{p,j}}{B}_{q,j}=\sum _j\frac{\partial y}{\partial C_{p,j}}{B}_{j,q}^T$$
其中
$$\sum _j\frac{\partial y}{\partial C_{p,j}}{B}_{j,q}^T$$
是$j$个标量对应相乘相加，可以看作是$j$维行向量和$j$维列向量做向量乘法，所以将$y$对元素$A_{p,q}$求导扩展到整个矩阵$A$。表达式为：
$$\frac{\partial y}{\partial A}=\frac{\partial y}{\partial C}{B}^T$$
同理可得：
$$\frac{\partial y}{\partial B}=A^T\frac{\partial y}{\partial C}$$