从特征值，特征向量，对角矩阵，特征值分解到奇异值分解

写在前面：这篇博文可能更适合于学过线性代数的同学
写作背景：最近开始看花书，第二章就讲到了上面几个概念，主要还是奇异值分解，在看的过程中查找了资料，就有了这篇博文。
首先要明确几个概念：特征值，特征向量，对角矩阵。（为了回忆起这几个概念，我不得不拿起我买的二手考研资料，什么？你问一手的在哪？一手的被我考完卖了。）
特征值，特征向量：设A是n阶矩阵，若存在常数λ及非零常数α，使得Aα=λα，称λ为矩阵A的一个特征值，α是属于特征值λ的矩阵A的一个特征向量。
（这样读起来好像没啥用，下面会给一个例子来说明怎么算）
那么怎么求这个特征值和特征向量呢？其实是有一套方法的。但是在科普这个方法之前，还是要再明确几个概念：
特征多项式和特征方程：设A =
称f(λ)=|λE-A|=
为矩阵A的特征多项式（E是线性代数里面的单位矩阵，就不多说了），称|λE-A|=0为矩阵A的特征方程。
ok，现在看上面的特征值特征向量的概念有Aα=λα，那么我们是不是有（λE-A）α=0，即|λE-A|=0,所以如果方阵A已知，那么我们就能算出特征值。
现在我们看一个具体的例子：求下面这个A的特征值和特征向量

这个时候就求出了特征值和特征向量。但是其实我们还可以继续让矩阵对角化，那么什么是矩阵对角化呢？看下面图片概念。

看概念似乎不太明白，我们直接举个例子，还是接着使用上面的求特征值特征向量的例子。直接看例4的(2)就可以了，同时注意看下（3），注意这个问题就好。

上面的(2)(3)分别说明P^-1AP = Λ 以及Q^TAQ=Λ ，那么是不是也就是说明，A是可以被分解的？我们对上面的两个式子转换下就知道了。PΛ P^-1=A,QΛ Q^T=A.因为我们已经求出来了Λ ，是一个对角矩阵，同时Λ 两边的矩阵也是知道的，那么这样就完成了对A的分解。

上面所有的文字都是对矩阵，也就是A的形状是nn的这种，那么mn的这种(m≠n)，会不会也可以被分解呢？答案是可以的，这就是奇异值分解。
奇异值分解：有一个m×n的实数矩阵A，我们想要把它分解成如下的形式：
A=UΣV^T
其中U和V均为单位正交阵，即有UU^T=I和VV^T=I(I是单位矩阵)，U称为左奇异矩阵，V称为右奇异矩阵，Σ仅在主对角线上有值，我们称它为奇异值，其它元素均为0。上面矩阵的维度分别为U∈R^m×m, Σ∈R^m×n, V∈R^n×n。
一般地Σ有如下形式:

奇异值的求解方法：
正常求上面的U,V,Σ不便于求，我们可以利用如下性质：

注：需要指出的是，这里ΣΣ^T与Σ^TΣ在矩阵的角度上来讲，它们是不相等的，因为它们的维数不同ΣΣ^T∈R^m×m，而Σ^TΣ∈R^n×n，但是它们在主对角线的奇异值是相等的，即有

因为上面我们已经得出了AA^T和A^TA，我们可以对这两个值使用特征值分解，得到的特征矩阵分别为U和V，同时对特征值进行开方，就能得出奇异值。然后由奇异值就能得出Σ。这样就完成了对A的分解。也就是奇异值分解。

写在最后：上面将的是从基本的矩阵特征值特征向量到奇异值分解，讲的也不是很明白，中间可能有些细节不太完善，但是是我理解奇异值分解的完整的思路。具体的奇异值分解的实现以及证明以及有什么用，看后面的博文。（现在还没写，写了放链接）