奇异值分解（SVD）详解

奇异值分解的主要思想

奇异值（singular value decomposition, SVD）是一种矩阵因子分解方法。

其主要思想是：任意一个$m\times n$ 矩阵都可以表示为三个矩阵的乘积（因子分解）形式，即：
$$A=U\Sigma V^{\mathrm{T}}$$
其中 $U$ 是$m$ 阶正交矩阵，$V$ 是 $n$ 阶正交矩阵， $\Sigma$ 是由降序排序的非负的对角线元素组成的$m\times n$ 矩形对角矩阵。且满足：
$$\begin{gathered} U{U}^{\mathrm{T}}=I \\ V{V}^{\mathrm{T}}=I \\ \Sigma =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_p) \\ {\sigma }_1\ge {\sigma }_2\ge \dots \ge {\sigma }_p\ge 0 \\ p=\min (m,n) \end{gathered}$$
${\sigma }_i$ 称为矩阵A的奇异值，U的列向量称为左奇异向量，V的列向量称为右奇异向量。

奇异值分解形式

奇异值分解$A=U\Sigma V^{\mathrm{T}}$ 又称矩阵的完全奇异值分解。实际常用的是奇异值分解的紧凑形式和截断形式。紧凑形式分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。

（1）紧奇异值分解

紧奇异值分解：
$$A=U_r{\Sigma }_r{V}_r^{\mathrm{T}}$$

其中，$r=rank(A)$ 。

这种分解的对角矩阵${\Sigma }_r$ 的秩和原始矩阵A的秩相等。

（2）截断奇异值分解
$$A\approx U_k{\Sigma }_k{V}_k^{\mathrm{T}}$$
其中，$rank(A)=r且0<k<r$。

这种分解的对角矩阵