SVD分解原理详解

标签: 算法
8人阅读 评论(0) 收藏 举报

在介绍SVD之前,先补充一些基础知识

1.酉矩阵:


2.正规(正定)矩阵


3.谱分解:

表示正规矩阵,可经由酉变换,分解为对角矩阵;这种矩阵分解的方式,称为谱分解(spectral decomposition)。

4.SVD分解

作为谱定理的泛化,SVD 分解对于原矩阵的要求就要弱得多。



4.手动SVD分解的一个实例



SVD的分解实际可以将矩阵 M写成一个求和形式


5.SVD分解的应用:

(1)分析了解原矩阵的主要特征和携带的信息(取若干最大的奇异值),这引出了主成分分析(PCA);

丢弃忽略原矩阵的次要特征和携带的次要信息(丢弃若干较小的奇异值),这引出了信息有损压缩、矩阵低秩近似等话题。

这两方面的应用实际上是对偶的:因为,按重要度排序之后,一方面我们可以知道哪些信息(奇异值)重要,另一方面我就很自然地就可以丢弃不重要的部分。

(2)举一个具体的实例:在图像数字化技术中,一副图片可转换成一个m*n阶像素矩阵来存储,存储量是m*n个数。如果利用矩阵A(秩为r)的奇异值展开式(即上述将SVD分解写成求和的形式),则只要存储A的奇异值,奇异向量U,V的分量,总计r*(m+n+1)个数。取m=n=1000,r=100,则m*n = 10的6次方,而r*(m+n+1)=200100

参考链接

http://open.163.com/movie/2016/4/D/4/MBKJ0DQ52_MBQUMH1D4.html

https://www.youtube.com/watch?v=T3dkdfj7YXw

(这个视频里边的分解很简单,但感觉只是适用于某些特殊情况)

书籍:矩阵论--杨明,刘先忠


查看评论

奇异值分解(SVD)原理详解及推导 (转)

转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43053513     在网上看到有很多文章介绍SVD的,讲的也都不错,但是...
  • u012797056
  • u012797056
  • 2016-04-22 20:01:55
  • 1978

奇异值分解(SVD)原理详解及推导

在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有需要补充的,特别是关于矩阵和映射之间的对应关系。前段时间看了国外的一篇文章,叫A Singularly Valuable Decompos...
  • zhongkejingwang
  • zhongkejingwang
  • 2015-01-23 11:39:21
  • 117736

奇异值分解(SVD)原理详解

一、奇异值与特征值基础知识:     特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就是提取出一个矩阵最重...
  • xiaocong1990
  • xiaocong1990
  • 2017-02-07 14:07:46
  • 5883

【数学】奇异值分解(SVD)原理详解及推导

http://blog.csdn.net/zhongkejingwang/article/details/43053513
  • SMF0504
  • SMF0504
  • 2016-11-03 15:46:37
  • 1189

SVD的介绍与原理

一.SVD的介绍SVD,Singular Value Decomposition ,奇异值分解。PCA的实现一般有两种,一种是用特征值分解,一种是用奇异值分解。 优点:简化数据,去除噪声,提高算法的结...
  • taxueguilai1992
  • taxueguilai1992
  • 2015-08-01 21:12:28
  • 2388

奇异值分解(SVD)原理详解及推导-矩阵相关

SVD原理以及推导 一。关于这篇文章的开始几句话        看过我之前写过文章的童鞋们会发现我写文章的水平很烂的,所以看官们见谅啊!SVD不仅是一个数学问题,在数学问题上主要涉及矩阵的计算,矩阵已...
  • PANHUBO
  • PANHUBO
  • 2016-07-20 18:45:56
  • 5610

SVD分解的由来、原理和应用简介

  • 2011年07月05日 20:09
  • 412KB
  • 下载

机器学习(29)之奇异值分解SVD原理与应用详解

微信公众号 关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 前言 奇异值分解(Singular Value D...
  • Mbx8X9u
  • Mbx8X9u
  • 2017-12-01 00:00:00
  • 327

matlab SVD分解的相关解释·

使用SVD技术的过程是: (1)对给定集进行奇异值分解,得到奇异矩阵S。 (2)将奇异值居矩阵S中最小的几个值置为0,并将U和V中对应的行和列都置为0; (3)得到经过特征缩减的新数据集X'=U...
  • yihaizhiyan
  • yihaizhiyan
  • 2011-10-26 16:17:16
  • 7131

SVD 奇异值分解

  • 2017年07月28日 11:44
  • 183KB
  • 下载
    个人资料
    持之以恒
    等级:
    访问量: 338
    积分: 191
    排名: 107万+
    文章存档
    最新评论