PCA降维-总结

PCA原理

主成分分析，又名PCA（Principal Component Analysis），主要用于降维。主成分分析主要依靠方差进行最有价值的提取。将数据投影到低维子空间实现降维。

PCA做了什么？

1.求特征之间的协方差。
$$cov\left(x,y\right)=\frac{1}{n-1}\sum _{i=1}^n\left(x_{ij}-{\bar{x}}_j\right)\left(x_{ik}-{\bar{x}}_k\right)$$

2.求特征之间的协方差矩阵

$$\Sigma =\frac{1}{n-1}\left({\left(X-\bar{x}\right)}^T\left(X-\bar{x}\right)\right)$$

3.求协方差矩阵的特征向量和特征值。

为什么要这么做？

• 协方差可以描述两个特征之间的变动的同步程度,就是相关性，如果两个变量的协方差为0，在统计学上认为二者线性无关。但是不代表两个变量完全独立，只是代表着没有线性相关性而已。
• 在标准化的情况下，协方差越接近1，则正相关性更强，协方差越接近-1，则负相关性更强。
• 那么我们得到的协方差矩阵就是两个特征之间的线性关系。

特征向量和特征值

• 特征向量是经过以下变换得到的，其意义就是等比例放缩。
  $$A\vec{v}=\lambda \vec{v}$$
• 最大的特征值就是第一主成分，第二大的特征值就是第二主成分，以此类推。