常用矩阵向量求导公式

在推导机器学习的迭代更新公式过程中经常需要用到矩阵或者向量的求导操作，很多求导公式经常会忘，因此这里Mark一下，方便后面自己查阅方便。

---

直接包含求导向量的公式

$$\frac{dx^T}{dx}=I\qquad \qquad\qquad\qquad\qquad\qquad\quad \frac{dx}{dx^T}=I$$ $$\frac{dx^TA}{dx}=A\qquad\qquad\qquad\qquad\qquad\qquad\frac{dAx}{dx}=A^T$$ $$\frac{dAx}{dx^T}=A\qquad\qquad\qquad\qquad\qquad\qquad\frac{dxA}{dx}=A^T$$ $$\frac{dx^Tx}{dx}=2x\qquad \qquad \qquad \qquad \frac{dx^TAx}{dx}=(A+A^T)x$$

---

分配率公式

$$\frac{\partial u}{\partial x^T}=(\frac{\partial u^T}{\partial x})^T$$ $$\frac{\partial u^Tv}{\partial x}=\frac{\partial u^T}{\partial x}v + \frac{\partial v^T}{\partial x}u^T$$ $$\frac{\partial uv^T}{\partial x}=\frac{\partial u}{\partial x}v^T + u\frac{\partial v^T}{\partial x}$$

---

矩阵求导公式

$$\frac{\partial AB}{\partial x}=\frac{\partial A}{\partial x}B+A\frac{\partial B}{\partial x}$$ $$\frac{\partial u^TXv}{\partial X}=uv^T$$ $$\frac{\partial u^TX^TXu}{\partial X}=2Xuu^T$$ $$\frac{\partial [(Xu-v)^T(Xu-v)]}{\partial X}=2(Xu-v)u^T$$