（模式识别）特征降维问题

（模式识别）特征降维问题

降维的必要性

• 多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。
• 高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间只有0.02%。
• 过多的变量会妨碍查找规律的建立。
• 仅在变量层面上分析可能会忽略变量之间的潜在联系。

降维的目的：

1. 减少预测变量的个数
2. 确保这些变量是相互独立的
3. 提供一个框架来解释结果

降维的方法主要有：1.主成分分析算法（PCA）、2.线性判别分析（LDA）、3.局部线性嵌入（LLE）、4.拉普拉斯特征映射（Laplacian Eigenmaps）

1.主成分分析算法（PCA）

    主成分分析法是一种数据压缩的常用方法。主要是基于正交变换的思想，保留有显著贡献的特征向量。任取一个特征向量，如果它所对应的特征值在数据集上代表一个显著的方差值，则它称之为这个数据集的一个主成分。（其中，每一个特征向量和一个方差对应，而这个方差又由对应的特征值表示）

    主成分分析算法存在的缺点：

•    主成分法是基于原始特征的一种线性变换。若原始数据中存在