机器学习实战（十二）降维（PCA、SVD）

目录

0. 前言

1. 主成分分析PCA（Principal Component Analysis）

2. 奇异值分解SVD（Singular Value Decomposition）

3. 低维空间维度的选择

3.1. PCA

3.2. SVD

3.3. 平均投影误差的平方

4. 实战案例

4.1. PCA降维

4.2. SVD降维

4.3.  SVD压缩存储矩阵

---

学习完机器学习实战的降维，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。

本篇综合了先前的文章，如有不理解，可参考：

吴恩达机器学习（十二）主成分分析

所有代码和数据可以访问 我的 github

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

0. 前言

数据的特征数量，又称作向量的维度。降维（dimensionality reduction）是通过一些方法，减少数据的特征数量，以降低维度。

• 数据压缩，减小占用的存储空间
• 加快算法的计算速度
• 低维平面可以可视化数据

主要有几种降维的方法：

• 主成分分析（PCA）：将数据映射到低维度的新坐标轴上，以降低维度
• 因子分析（FA）：假设数据由隐变量和噪声组成，通过找到隐变量，就可以降维
• 独立成分分析（ICA）：假设数据是由多个数据源混合组成，通过找到数据源，就可以实现降维

本篇主要介绍PCA和利用SVD将数据映射到低维度上。

PCA：

• 优点：降低数据的复杂性，识别最重要的多个特征
• 缺点：不一定需要，且可能损失有用信息
• 适用数据类型：数值型数据

SVD：

• 优点：简化数据，去除噪声，提高算法的结果
• 缺点：数据的转换可能难以理解
• 适用数据类型：数值型数据

数据是指接受的原始材料，其中可能包含噪声和不相关信息，而信息是指数据中的相关部分。

降维技术通常能使得数据变得更容易使用，去除数据中的噪声，获取数据集中的信息量。

1. 主成分分析PCA（Principal Component Analysis）

PCA 基于最大方差理论，寻找低维度的坐标系，使得各个数据点到平面的投影距离最小，如下图所示（图源：机器学习实战）：

若数据投影到坐标轴A上，则各个数据点的投影距离之和大，若数据投影到坐标轴B上，则各个数据点的投影距离之和小，所以应选择坐标轴B。最大方差理论表明，数据投影在坐标轴B上时，数据的方差最大，所以这条坐标轴最能表示原始数据。

若低维坐标系的维度为 ，则选定每一条坐标轴都需要与先前的所有坐标轴正交，且在剩下的空间中具有最大方差。

PCA 的算法流程：

1. 将数据进行均值归一化
2. 计算数据的协方差矩阵（协方差矩阵维度为 ）
3. 计算协方差矩阵的特征值和特征向量（特征值个数为 ，特征向量维度为 ）
4. 将特征值从大到小排序，取前  个特征值的特征向量
5. 通过特征向量，将数据映射到新的空间中，维度为 （原始数据维度为 ，特征向量维度为 ）

将低维数据映射到高维空间的估计点上，可将降维后的数据乘以特征向量的转置即可。

2. 奇异值分解SVD（Singular Value Decomposition）

SVD 同样可以去除数据中的噪声，用较小的数据集表示原始数据集，实现降维。

SVD 又可以称作隐性语义索引（Latent Semantic Indexing，LSI）或者隐性语义分析（Latent Semantic Analysis，LSA）。

通过