奇异值分解(SVD)的简单理解

奇异值分解

将一个矩阵$A$进行奇异值分解可以得到三个矩阵，$U$，$\Sigma$，$V^T$，表示如下：

$$A=U\Sigma V^T$$

用MATLAB对矩阵A做奇异值分解只需要一行命令：[U,S,V] = svd(A)

$U$、$\Sigma$、$V$矩阵的理解

• $U$矩阵

  $U$是一个正交矩阵，$U$矩阵的直觉理解是：将$A$矩阵的基向量转换成span相同空间的两两正交的单位基向量（正交基）

  所以$U$矩阵满足：$range(col(U))=range(col(A))$，即$U$的列向量和$A$的列向量有相同的range

  关键词：转换

• $\Sigma$矩阵

  $\Sigma$是一个“对角阵”（不一定是方阵），$\Sigma$矩阵的直觉理解是：$U$矩阵的每个基向量方向的权重是多大，权重大小按$\Sigma$矩阵的左上角至右下角递减

  关键词：加权

• $V$矩阵

  $V$是一个正交矩阵，$V$矩阵的直觉理解是：用什么样的组合方式，将经过$\Sigma$加权后的正交基（即$U$矩阵的列向量）重新组合成$A$矩阵的列向量

  由$A=U\Sigma V^T$可得$A^T=V\Sigma U^T$，所以$V$矩阵满足：$range(col(V))=range(row(A))$，即$V$的列向量和$A$的行向量有相同的range

  关键词：组合