简介
SVD(Singular Value Decomposition)
记录一下学习奇异值分解中的小知识点,具体参考线代黄书和《统计学习方法》
由先前的知识我们得知对角化在许多应用中很重要,然而,并非所有矩阵都有分解式 A = P D P − 1 A=PDP^{-1} A=PDP−1,且D是对角的
但分解 A = Q D P − 1 A=QDP^{-1} A=QDP−1对任意 m × n m \times n m×n矩阵A都有可能!这类特殊分解称为奇异值分解。
奇异值分解
下面,我们对奇异值分解做如下介绍:
A
=
U
Σ
V
T
其
中
U
是
m
阶
正
交
矩
阵
,
V
是
n
阶
正
交
矩
阵
,
Σ
是
m
×
n
矩
形
对
角
矩
阵
,
其
对
角
线
元
素
非
负
,
且
按
降
序
排
列
r
=
r
a
n
k
(
A
)
U
1
=
[
u
1
u
2
⋯
u
r
]
是
构
成
A
的
列
空
间
的
一
组
标
准
正
交
基
U
2
=
[
u
r
+
1
u
r
+
2
⋯
u
n
]
是
构
成
A
T
的
零
空
间
的
一
组
标
准
正
交
基
V
1
=
[
v
1
v
2
⋯
v
r
]
是
构
成
A
的
行
空
间
的
一
组
标
准
正
交
基
V
2
=
[
v
r
+
1
v
r
+
2
⋯
v
n
]
是
构
成
A
的
零
空
间
的
一
组
标
准
正
交
基
A = U\Sigma V^T \\ 其中U是m阶正交矩阵,V是n阶正交矩阵,\Sigma是m \times n矩形对角矩阵,其对角线元素非负,且按降序排列 \\ r = rank(A) \\ U_1 = \left[ \begin{matrix} u_1 & u_2 & \cdots & u_r \\ \end{matrix} \right] 是构成A的列空间的一组标准正交基 \\ U_2 = \left[ \begin{matrix} u_{r+1} & u_{r+2} & \cdots & u_{n} \\ \end{matrix} \right] 是构成A^T的零空间的一组标准正交基 \\ V_1 = \left[ \begin{matrix} v_1 & v_2 & \cdots & v_r \\ \end{matrix} \right] 是构成A的行空间的一组标准正交基 \\ V_2 = \left[ \begin{matrix} v_{r+1} & v_{r+2} & \cdots & v_{n} \\ \end{matrix} \right] 是构成A的零空间的一组标准正交基
A=UΣVT其中U是m阶正交矩阵,V是n阶正交矩阵,Σ是m×n矩形对角矩阵,其对角线元素非负,且按降序排列r=rank(A)U1=[u1u2⋯ur]是构成A的列空间的一组标准正交基U2=[ur+1ur+2⋯un]是构成AT的零空间的一组标准正交基V1=[v1v2⋯vr]是构成A的行空间的一组标准正交基V2=[vr+1vr+2⋯vn]是构成A的零空间的一组标准正交基
奇异值分解的作用
A
=
U
Σ
V
T
≈
U
r
Σ
r
V
r
T
(
等
秩
的
奇
异
值
分
解
)
=
[
u
1
u
2
⋯
u
r
]
[
σ
1
0
⋯
0
0
σ
2
⋯
0
⋮
⋮
⋱
⋮
0
0
⋯
σ
r
]
[
v
1
T
v
2
T
⋮
v
r
T
]
=
σ
1
u
1
v
1
T
+
σ
2
u
2
v
2
T
+
⋯
+
σ
r
u
r
v
r
T
A = U\Sigma V^T \thickapprox U_r\Sigma_r V_r^T(等秩的奇异值分解) = \\ \left[ \begin{matrix} u_1 & u_2 & \cdots & u_r \\ \end{matrix} \right] \left[ \begin{matrix} \sigma_1 & 0 & \cdots & 0 \\ 0 & \sigma_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma_r \\ \end{matrix} \right] \left[ \begin{matrix} v_1^T \\ v_2^T \\ \vdots \\ v_r^T \\ \end{matrix} \right] = \sigma_1 u_1v_1^T+\sigma_2 u_2v_2^T+\cdots+\sigma_r u_rv_r^T
A=UΣVT≈UrΣrVrT(等秩的奇异值分解)=[u1u2⋯ur]⎣⎢⎢⎢⎡σ10⋮00σ2⋮0⋯⋯⋱⋯00⋮σr⎦⎥⎥⎥⎤⎣⎢⎢⎢⎡v1Tv2T⋮vrT⎦⎥⎥⎥⎤=σ1u1v1T+σ2u2v2T+⋯+σrurvrT
因此,原矩阵可以近似分解成如此若干
σ
i
u
i
v
i
T
\sigma_i u_i v_i^T
σiuiviT形式矩阵加和形式,而
σ
i
\sigma_i
σi则表示了对应的权值大小,
σ
i
\sigma_i
σi越大,则权越大。不能想象,奇异值分解可以用来进行图像的压缩和去噪等功能。
特征值为0对应的特征向量在零空间中
特征值为0,意味着 A x = λ x = 0 Ax=\lambda x=0 Ax=λx=0,所以其特征值为0对应的特征向量即零空间。
矩阵A的特征向量必然在A的列空间中
由 A v = λ v , 得 A v = [ a 1 a 2 ⋯ a r ] [ v 1 v 2 ⋮ v r ] = v 1 a 1 + v 2 a 2 + ⋯ + v r a r 所 以 λ v = A v , 为 A 的 列 线 性 组 合 而 成 由Av=\lambda v,得Av = \left[ \begin{matrix} a_1 & a_2 & \cdots & a_r \\ \end{matrix} \right] \left[ \begin{matrix} v1 \\ v2 \\ \vdots \\ v_r \\ \end{matrix} \right] = v_1a_1+v_2a_2+\cdots+v_ra_r \\ 所以\lambda v = Av,为A的列线性组合而成 由Av=λv,得Av=[a1a2⋯ar]⎣⎢⎢⎢⎡v1v2⋮vr⎦⎥⎥⎥⎤=v1a1+v2a2+⋯+vrar所以λv=Av,为A的列线性组合而成