特征值和特征向量 奇异值和奇异值分解

特征值和特征向量

特征值和特征向量 ?? = ??, ? ≠ 0. (? − ??)? = 0 |? − ??| = 0
•?? 代表向量的线性变换，而 ?? 代表向量拉伸变换
•特征向量的含义就在于使得哪些向量只发生拉伸变换。
•而特征值用于衡量相应的拉伸系数。
•特征值就是运动的速度，特征向量就是运动的方向 注：只有方阵才能计算特征值和特征向量。

================================================================================================
•在机器学习特征提取中，最大特征值对应的特征向量方向上包含最多的信息量。
•如果某几个特征值很小，说明这几个方向信息量很小，可以用来降维。
•也就是删除小特征值对应方向的数据，只保留大特征值方向对应的数据。
•这样做以后数据量减小，但有用信息量变化不大

================================================================================================
 

但是！！！ 只有方阵才能计算特征值和特征向量，因此，只有方阵才能进行特征值分解。 那么，非方阵怎么办呢？

 

奇异值和奇异值分解
•特征值分解是一个提取矩阵特征很不错的方法，但是它只适用于方阵。
•而在现实的世界中，我们看到的大部分矩阵都不是方阵，
•比如说有M个学生，每个学生有N科成绩，这样形成的一个M * N的矩阵就可能不是方阵，我们怎样才能像描述特征值一样描述这样一般矩阵呢的重要特征呢？
•奇异值分解就是用来干这个事的！
•奇异值分解是一个能适用于任意的矩阵的一种分解的方法

奇异值分解（Singular value decompositon,SVD）,一种重要的矩阵

SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×nm×n的矩阵，那么我们定义矩阵A的SVD为：

A=UΣVTA=UΣVT

　　　　其中U是一个m×mm×m的矩阵，ΣΣ是一个m×nm×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×nn×n的矩阵。U和V都是酉矩阵，即满足UTU=I,VTV=IUTU=I,VTV=I。下图可以很形象的看出上面SVD的定义：

================================================================================================
================================================================================================