zhao_crystal的博客

总结,升华,创新

SVD分解原理详解

在介绍SVD之前,先补充一些基础知识

1.酉矩阵:


2.正规(正定)矩阵


3.谱分解:

表示正规矩阵,可经由酉变换,分解为对角矩阵;这种矩阵分解的方式,称为谱分解(spectral decomposition)。

4.SVD分解

作为谱定理的泛化,SVD 分解对于原矩阵的要求就要弱得多。



4.手动SVD分解的一个实例



SVD的分解实际可以将矩阵 M写成一个求和形式


5.SVD分解的应用:

(1)分析了解原矩阵的主要特征和携带的信息(取若干最大的奇异值),这引出了主成分分析(PCA);

丢弃忽略原矩阵的次要特征和携带的次要信息(丢弃若干较小的奇异值),这引出了信息有损压缩、矩阵低秩近似等话题。

这两方面的应用实际上是对偶的:因为,按重要度排序之后,一方面我们可以知道哪些信息(奇异值)重要,另一方面我就很自然地就可以丢弃不重要的部分。

(2)举一个具体的实例:在图像数字化技术中,一副图片可转换成一个m*n阶像素矩阵来存储,存储量是m*n个数。如果利用矩阵A(秩为r)的奇异值展开式(即上述将SVD分解写成求和的形式),则只要存储A的奇异值,奇异向量U,V的分量,总计r*(m+n+1)个数。取m=n=1000,r=100,则m*n = 10的6次方,而r*(m+n+1)=200100

参考链接

http://open.163.com/movie/2016/4/D/4/MBKJ0DQ52_MBQUMH1D4.html

https://www.youtube.com/watch?v=T3dkdfj7YXw

(这个视频里边的分解很简单,但感觉只是适用于某些特殊情况)

书籍:矩阵论--杨明,刘先忠


阅读更多
文章标签: 算法
个人分类: 算法/ML
上一篇大数加,减,乘,除
下一篇机器学习之专业术语
想对作者说点什么? 我来说一句

奇异值分解习题

SVD

tyzttzzz tyzttzzz

2015-12-13 19:02:14

阅读数:4650

奇异值分解例题

svd

u010882121 u010882121

2018-02-02 10:16:25

阅读数:445

没有更多推荐了,返回首页

关闭
关闭