主成分分析（PCA）详解

主成分分析（PCA）是一种常用的无监督学习方法，利用 正交变换把由 线性相关变量表示的观测数据转换为几个由 线性无关变量表示的数据。线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数，所以PCA是一种降维算法。

实现方式与几何解释

主成分分析步骤如下：

（1）对给定数据进行规范化，使得数据每一变量的平均值为0,方差为1。

（2）对数据进行正交变换，原来由线性相关变量表示的数据,通过正交变换变成由若干个线性无关的新变量表示的数据。

新变量是可能的正交变换中变量的方差的和(信息保存)最大的，方差表示在新变量上信息的大小。将新变量依次称为第一主成分、第二主成分等。

举例说明：

设数据在原坐标系由变量$x_1$和$x_2$ 表示，如图（a）。PCA对数据进行正交变换（对原坐标系进行旋转变换），通过正交变换后，在新坐标系里，由变量$y_1$和$y_2$表示。主成分分析选择方差最大的方向(第一主成分)作为新坐标系的第一坐标轴，即$y_1$ 。之后选择与第一坐标轴$y_1$ 正交，且方差次之的方向(第二主成分)作为新坐标系的第二坐标轴，即$y_2$ 轴，如图（b）。在新坐标系里，数据中的变量$y_1$ 和$y_2$ 是线性无关的。

那么怎么样才能确定方差最大呢？设坐标系由变量$x_1$和$x_2$ 表示，三个样本点A、B、C。对坐标轴进行旋转变换得到新的坐标轴$y_1$。样本点A,B,C在$y_1$上投影得到$A^{\prime },B^{\prime },C^{\prime }$ 。

坐标值的平方和$O{A}^{\prime 2}+O{B}^{\prime 2}+O{C}^{\prime 2}$ ，表示样本在变量$y_1$ 上的方差和。主成分分析旨在选取正交变换中方差最大的变量作为第一主成分，也就是旋转变换中坐标值的平方和最大的值轴。在旋转变换中样本点到原点的距离的平方和$O{A}^2+O{B}^2+O{C}^2$ 保持不变。由勾股定理可知： 坐标值的平方和$O{A}^{\prime 2}+O{B}^{\prime 2}+O{C}^{\prime 2}$ 最大等价于样本到$y_1$ 轴的距离的平方和$A{A}^{\prime 2}+B{B}^{\prime 2}+C{C}^{\prime 2}$ 最小。所以，第一主成分是指在旋转变换中选取离样本点的距离平方和最小的轴。第二主成分的选取要保证与已选坐标轴正交的条件下，类似进行。

定义

线性变换的协方差(相关)矩阵

假设数据样本矩阵$X$ 如下：
$$X=[{\text{x}}_1{\text{x}}_2\dots {\text{x}}_n]=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]$$
其中，${\vec{x}}_j=(x_{1j},x_{2j},\dots ,x_{mj})$ 表示第$j$ 个观测样本（每一列均表示一个样本，一共n个样本，每个样本m个特征）。

样本均值为：
$$\bar{\text{x}}=\frac{1}{n}\sum _{j=1}^n{\text{x}}_j$$
样本的协方差矩阵$S$为：
$$\begin{gathered} S=[s_{ij}{]}_{m\times m} \\ {s}_{ij}=\frac{1}{n-1}\sum _{k=1}^n(x_{ik}-{\bar{x}}_i)(x_{jk}-{\bar{x}}_j)，i,j=1,2,\dots ,m \end{gathered}$$
其中，${\bar{x}}_i=\frac{1}{n}{\sum }_{k=1}^n{x}_{ik}$

样本的相关矩阵$R$ 为：
$$\begin{gathered} R=[r_{ij}{]}_{m\times m} \\ {r}_{ij}=\frac{s_{ij}}{\sqrt{s_{ii}{s}_{jj}}} \end{gathered}$$
定义 m 维向量$x=(x_1,x_2\dots ,x_m{)}^T$ 到 m 维向量$y=(y_1,y_2,\dots ,y_m{)}^T$ 的线性变换：
$$\text{y}=A^T\text{x}$$
其中：
$$A=[a_1{a}_2\dots a_m]=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$
对于任意一个线性变换：
$$y_i=a_i^T\text{x}=a_{1i}{x}_1+a_{2i}{x}_2+\dots +a_{mi}{x}_m,i=1,2\dots ,m$$
$y_i$ 是m维向量$\text{y}$ 的第$i$ 个变量，其样本均值为：
$$\begin{gathered} {\bar{y}}_i=\frac{1}{n}\sum _{j=1}^n{a}_i^T{\text{x}}_j=a_i^T\bar{\text{x}} \\ \bar{\text{x}}=\frac{1}{n}\sum _{j=1}^n{\text{x}}_j \end{gathered}$$
$y_i$ 的样本方差$var(y_i)$ 为：
$$\begin{array}{rl}var(y_i)& =\frac{1}{n-1}\sum _{j=1}^n(a_i^T{\text{x}}_j-a_i^T\bar{\text{x}}{)}^2\\ & =a_i^T\left[\frac{1}{n-1}\sum _{j=1}^n({\text{x}}_j-\bar{\text{x}})({\text{x}}_j-\bar{\text{x}}{)}^T\right]a_i\\ & =a_i^{T}S{a}_i\end{array}$$
推广：对任意两个线性变换$y_i={\alpha }_i^T\text{x}{y}_k={\alpha }_k^T\text{x}$ ，其协方差为：
$$cov(y_i,y_k)=a_i^{T}S{a}_k$$

定义

给定样本矩阵$X$。

第一主成分: $y_1=a_1^T\text{x}$ 是在$a_1^T{a}_1=1$ 的条件下，使得$a_1^T{x}_j$ 的样本方差$a_1^{T}S{a}_1$ 最大的 $\text{x}$ 的线性变换。

第二主成分：$y_2=a_2^T\text{x}$ 除了要满足 $a_2^T{a}_2=1$ ，还要满足$a_1^T{x}_j$ 与$a_2^T{x}_j$ 的协方差$a_1^{T}S{a}_2=0$ 的条件下，使得$a_2^T{x}_j$ 的样本方差$a_2^{T}S{a}_2$ 最大的 $\text{x}$ 的线性变换。

推广：第$i$ 主成分：$y_i=a_i^T\text{x}$ 是在$a_i^T{a}_i=1$ 和$a_i^T{x}_j$ 与$a_k^T{x}_j$ 的协方差$a_k^{T}S{a}_i=0$ 的条件下，使得$a_i^T{x}_j$ 的样本方差$a_i^{T}S{a}_i$ 最大的 $\text{x}$ 的线性变换。

使用主成分分析时，要先对数据进行规范化，即：
$$x_{ij}=\frac{x_{ij}-\overline{x_i}}{\sqrt{s_{ii}}}$$
此时，样本的协方差矩阵S 就是样本的相关矩阵 R：
$$R=\frac{1}{n-1}X{X}^T$$

相关矩阵的特征值分解算法

（1）先对数据进行规范化处理，得到规范化矩阵$X$。

（2）计算$X$ 的相关矩阵$R$ (协方差矩阵S)。

（3）求样本相关矩阵 R 的 $k$ 个特征值：${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_m$ 和对应的$k$ 个单位特征向量：$a_1,a_2,\dots a_m$ 。

（4）求样本主成分：
$$\text{y}=A^T\text{x}$$
其中$A=[a_1{a}_2\dots a_m]$

（5）计算第$k$主成分的方差贡献率：
$${\eta }_k=\frac{{\lambda }_k}{{\sum }_{i=1}^m{\lambda }_i}$$