机器学习之PCA降维理论推导

1. PCA降维后的超平面大概具有这样的性质

（1）最近重构性：样本点到这个超平面的距离的足够近

（2）最大可分性：样本点在这个超平面的投影尽可能分开

2. 依据最近重构性推导：

    假定数据样本进行了中心化，再假设投影变换后得到的新坐标系为W  =｛W1,W2,...,Wd｝，其中Wi是标准正交基向量, ||Wi||2 = 1, Wi.T*Wj = 0(i != j)。

若丢弃新坐标系中的部分坐标，即将维度降到d'<d。则样本点Xi在低维坐标系中的投影是Zi = (Zi1,Zi2,...,Zid')，其中Zij = Wj.T*Xi 是Xi在低维坐标系下第j维

的坐标。若基于Zi来重构Xi，则会得到Xi_hat = W*Zi。

    设样本X.shape = (n,m)，空间向量W.shape = (n,d')，则Z = W.T*X, Z.shape = (d',m)。若基于Z来重构X,则X_hat = W*Z，X_hat.shape = (n,m)。

    

其中λ是XXT的特征值，W是特征向量组成的矩阵。

3. 从最大可分性出发