奇异值分解（SVD）

简介

SVD(Singular Value Decomposition)
记录一下学习奇异值分解中的小知识点，具体参考线代黄书和《统计学习方法》

由先前的知识我们得知对角化在许多应用中很重要，然而，并非所有矩阵都有分解式$A=PD{P}^{-1}$，且D是对角的

但分解$A=QD{P}^{-1}$对任意$m\times n$矩阵A都有可能！这类特殊分解称为奇异值分解。

奇异值分解

下面，我们对奇异值分解做如下介绍：
$$\begin{gathered} A=U\Sigma V^T \\ 其中U是m阶正交矩阵，V是n阶正交矩阵，\Sigma 是m\times n矩形对角矩阵，其对角线元素非负，且按降序排列 \\ r=rank(A) \\ {U}_1=\left[\begin{array}{cccc}{u}_1& u_2& \cdots & u_r\end{array}\right]是构成A的列空间的一组标准正交基 \\ {U}_2=\left[\begin{array}{cccc}{u}_{r+1}& u_{r+2}& \cdots & u_n\end{array}\right]是构成A^T的零空间的一组标准正交基 \\ {V}_1=\left[\begin{array}{cccc}{v}_1& v_2& \cdots & v_r\end{array}\right]是构成A的行空间的一组标准正交基 \\ {V}_2=\left[\begin{array}{cccc}{v}_{r+1}& v_{r+2}& \cdots & v_n\end{array}\right]是构成A的零空间的一组标准正交基 \end{gathered}$$

奇异值分解的作用

$$\begin{gathered} A=U\Sigma V^T\approx U_r{\Sigma }_r{V}_r^T（等秩的奇异值分解）= \\ \left[\begin{array}{cccc}{u}_1& u_2& \cdots & u_r\end{array}\right]\left[\begin{array}{cccc}{\sigma }_1& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_r\end{array}\right]\left[\begin{array}{c}{v}_1^T\\ v_2^T\\ ⋮\\ v_r^T\end{array}\right]={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_r{u}_r{v}_r^T \end{gathered}$$
因此，原矩阵可以近似分解成如此若干${\sigma }_i{u}_i{v}_i^T$形式矩阵加和形式，而${\sigma }_i$则表示了对应的权值大小，${\sigma }_i$越大，则权越大。不能想象，奇异值分解可以用来进行图像的压缩和去噪等功能。

特征值为0对应的特征向量在零空间中

特征值为0，意味着$Ax=\lambda x=0$，所以其特征值为0对应的特征向量即零空间。

矩阵A的特征向量必然在A的列空间中

$$\begin{gathered} 由Av=\lambda v,得Av=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_r\end{array}\right]\left[\begin{array}{c}v1\\ v2\\ ⋮\\ v_r\end{array}\right]=v_1{a}_1+v_2{a}_2+\cdots +v_r{a}_r \\ 所以\lambda v=Av,为A的列线性组合而成 \end{gathered}$$

奇异值分解