吴恩达机器学习（十二）主成分分析（降维、PCA）

目录

0. 前言

1. 主成分分析（PCA）

2. 主成分分析PCA的流程

3. 低维空间维度的选择

4. 主成分分析使用方式

---

学习完吴恩达老师机器学习课程的降维，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

0. 前言

数据的特征数量，又称作向量的维度。降维（dimensionality reduction）是通过一些方法，减少数据的特征数量，以降低维度，通常采用主成分分析PCA（Principal Component Analysis）。降维的作用有：

• 数据压缩，减小占用的存储空间
• 加快算法的计算速度
• 低维平面可以可视化数据

初始作如下定义：

•  --- 第  个数据的第  个向量
•  --- 向量
•  --- 高维向量映射到低维平面后，在高维空间中的位置
•  --- 高维向量映射到低维平面后，在低维空间中的位置

1. 主成分分析（PCA）

主成分分析PCA是寻找一个低维平面，使得各个数据点到平面的投影距离最小，换句话说，就是寻找  个向量，作为子空间，将数据映射到这个子空间上，则数据的维度转换为  。

如下图所示（图源：吴恩达机器学习），三维空间的数据几乎可看作分布在一个斜面上，则可在这个斜面上建立一个二维的平面，将数据映射上去，转换为二维空间。