深入理解主成分分析(PCA)

PCA 的定义方式有很多，其中最常见的有三个：
  其一，PCA 可以理解为降维法，在保留尽可能多的离散程度信息的基础上减少变量的个数，消除变量之间的线性相关性；
  其二，PCA 可以理解为向其他方向上的正交投影，使得投影点的方差最大(Hotelling,1933)；
  其三，它也可以理解为正交投影，使得复原损失最小，这一损失通过数据点与估计点间平方距离的平均值来刻画(Pearson,1901).

下面我们分别考虑这三种定义方式.

1. 降维法

  这里的"维"指的便是变量的个数，在记录数据时，例如采集一个人的信息，需要收集其身高、体重、胸围等数据，这里的身高、体重和胸围即是"变量"；每个人的数据，例如(173(cm), 65(kg), 887(mm))，称为一个样本，或数据点.
  PCA 可以这么理解：一方面，在保留尽可能多的离散程度信息的情况下减少变量的个数；另一方面，消除变量之间的线性相关性(在上述例子中，身高、体重、胸围之间显然具有某种正相关性). 至于为什么要这样做，这就涉及到 PCA 的来历，可参见：A Tutorial on Principal Component Analysis(译).

• 离散程度信息可以通过变量的方差来刻画，方差越大，含有的信息越多；
• 变量的线性相关性可以通过协方差的绝对值来刻画，绝对值越大，相关性越强，协方差为零时线性无关；

  PCA 的思路是，对原有变量进行线性组合得到新变量，使得新变量的方差尽可能大，不同变量间的协方差为零.

下面来看详细 推导过程：
  设 $X$ 为 $m$ 维随机变量，$$X=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right)$$对其作变换如下：$$PX=Y$$其中 $P$ 为方阵， $$P=(p_{ij}{)}_{m\times m}=\left[\begin{array}{c}{p}_1^T\\ p_2^T\\ ⋮\\ p_m^T\end{array}\right]$$则$$\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]=Y=PX=\left[\begin{array}{c}{p}_{11}{x}_1+p_{12}{x}_2+\cdots +p_{1m}{x}_m\\ p_{21}{x}_1+p_{22}{x}_2+\cdots +p_{2m}{x}_m\\ ⋮\\ p_{m1}{x}_1+p_{m2}{x}_2+\cdots +p_{mm}{x}_m\end{array}\right]=\left[\begin{array}{c}{p}_1^{T}X\\ p_2^{T}X\\ ⋮\\ p_m^{T}X\end{array}\right]$$可以看到，新变量 $y_i$ 是原变量的线性组合.
$$\begin{array}{rl}Var(y_i)& =E[y_i-E(y_i){]}^2\\ & =E[(p_i^{T}X-E(p_i^{T}X))(p_i^{T}X-E(p_i^{T}X){)}^T]\\ & =p_i^{T}E[(X-E(X))(X-E(X){)}^T]p_i\\ & =p_i^T{C}_X{p}_i\\ Cov(y_i,y_j)& =p_i^T{C}_X{p}_j,i,j=1,2,\cdots ,m\end{array}$$  要使 $Var(y_i)$ 尽可能地大，这一点很容易做到，只需按比例缩放 $p_i$ 即可. 不过这样做没有什么意义，也不是我们想要的，因此需要对 $p_i$ 做些限制：设 $p_i$ 为单位向量，即 $\Vert p_i{\Vert }^2=p_i^T{p}_i=1$. 我们的目标是合理选择 $p_i$ ，使得 $Var(y_i)$ 尽量地大，同时满足 $Cov(y_i,y_j)=0,i\ne j$.
  先做些准备工作，因为 $C_X$ 是实对称矩阵且正定，所以其特征值均为正数，且存在某正交矩阵 $U$，使得 $U^T{C}_{X}U=D,D=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m)$，其中 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_m>0,U=(u_1{u}_2\cdots u_m),u_i$ 为 ${\lambda }_i$ 的特征向量. 所以 $C_X$ 可以表示为 $$C_X=UD{U}^T$$  首先，要使 $Var(y_1)$ 尽可能地大，
$$Var(y_1)=p_1^T{C}_X{p}_1=p_1^{T}UD{U}^T{p}_1$$记 z 1 = U T p 1 = ( z 11 , z 12 , ⋯   , z 1 m ) T z_1=U^Tp_1=(z_{11},z_{12},\cdots,z_{1m})^T z1​=UTp1​=(z11​,z