SVD与PCA，奇异值分解与主成分分析的比较

一般来说，想要获得低维的子空间，最简单的是对原始的高维空间进行线性变换（当然了，非线性也是可以的，如加入核函数，比较著名的就是KPCA）。SVD和PCA呢，都实现了降维与重构，但是呢，思路不太一样，老师课上提了一次，以前看的迷迷糊糊的，这次下定决心，怎么都要搞清楚这两个概念。
SVD（singular value decomposition），线性代数里也叫作奇异值分解，可以用来计算矩阵的特征值（奇异值）和特征向量（我知道表达不准确，但我也不想知道正确的说法）。
SVD大多数情况下用来提取一个矩阵的主特征值，可以用于图像的压缩和去噪。举个例子，将一个纳木错大牦牛图像奇异值分解，

Im=imread('niu.jpg');
figure(1);
Im=rgb2gray(Im);
imshow(Im,[]);
set(gca,'position',[0 0 1 1])
[m n]=size(Im);
Im=double(Im);
r=rank(Im);
[s v d]=svd(Im);
Im2=s(:,:)*v(:,1:100)*d(:,1:100)';
figure(2);
imshow(mat2gray(Im2));
imwrite(mat2gray(Im2),'1.jpg')
set(gca,'position',[0 0 1 1])

原图：