机器学习-数据降维算法

姓名：Jyx
描述：人工智能学习笔记

降维的意义

1. 在实际的机器学习案例里，因为我们不能完全的知道那些信息有用，而倾向于收集跟多的信息。这就导致样本非常多，而每个样本数也特别多。直接在这样的样本上进行学习，计算成本非常高。

2. 在对于给定样本数量，有一个特别的峰值现象，就是随着提供的特征增加，预测效果通常不是越来越好，而是存在一个拐点，当特征数量超过这个拐点之后，预测效果反而越来越差。拐点与所选算法的VC维有关。

3. 降维不是必须的，事实上，有时候降维反而会使分类效果变差，这视原始特征有无某种形式的相关性而定。

PCA（主成分分析）

1. PCA是一种线性降为技术，PCA假定原始特征之间存在线性相关性（即$E(x_i{x}_j)\ne 0,i\ne j$），PCA的目标就是原始特征映射成互不相关(即$E(y_i{y}_j)=0,i\ne j$，这里是统计里的相关性而不是线性代数里的线性相关)的特征而不丢失过多的信息。
2. 计算，令
   $$\mathbf{y}={\mathbf{A}}^{\mathbf{T}}\mathbf{x}\text{\hspace{1em}(1)}$$
   考虑$\mathbf{x},\mathbf{y}$的自相关矩阵${\mathbf{R}}_{\mathbf{x}},{\mathbf{R}}_{\mathbf{y}}$， 有
   $$\begin{array}{rl}{\mathbf{R}}_{\mathbf{y}}& =E(\mathbf{y}{\mathbf{y}}^{\mathbf{T}})\\ & =E({\mathbf{A}}^{\mathbf{T}}\mathbf{x}{\mathbf{x}}^{\mathbf{T}}\mathbf{A}),\text{because }\mathbf{y}={\mathbf{A}}^{\mathbf{T}}\mathbf{x},{\mathbf{y}}^{\mathbf{T}}=[{\mathbf{A}}^{\mathbf{T}}\mathbf{x}{]}^{\mathbf{T}}={\mathbf{x}}^{\mathbf{T}}\mathbf{A}\\ & ={\mathbf{A}}^{\mathbf{T}}\mathbf{E}(\mathbf{x}{\mathbf{x}}^{\mathbf{T}})\mathbf{A}\\ & ={\mathbf{A}}^{\mathbf{T}}{\mathbf{R}}_{\mathbf{x}}\mathbf{A}\end{array}\text{\hspace{1em}(2)}$$
   如前所述，我们希望$E(y_i{y}_j)=0,i\ne j$，所以${\mathbf{R}}_{\mathbf{y}}$除对角线外，其余元素全部为0，即${\mathbf{R}}_{\mathbf{y}}$为对角阵。于是2式相当于对${\mathbf{R}}_{\mathbf{x}}$进行对角化，A为由${\mathbf{R}}_{\mathbf{x}}$的特征向量组成的正交矩阵， R y = d i a g { λ 1 , λ 2 , . . . } , λ i \bf{R}_y = diag \{\lambda_1, \lambda_2, ...\}, \lambda_i Ry​=diag{λ1​,λ2​,...},λi​为${\mathbf{R}}_{\mathbf{x}}$的特征值。
   这样我们就求出了变换矩阵$A$
   显然此时维度没有降低(除非有某些$E(x_i^2)=0$)，PCA的基本思想就是保留那些特征值最大的特征向量，而令其余为0，下面介绍之一思想的好处
3. PCA之所以应用如此广泛，还因为他有如下的性质。
   3.1 还原误差最小，PCA是所有将原始特征降到某一维度的不相关变换中还原后方差最小的
   如前所述，$A$为一正交矩阵${\mathbf{A}}^{-1}={\mathbf{A}}^{\mathbf{T}}$，令${\mathbf{a}}_{\mathbf{i}}$为${\mathbf{R}}_{\mathbf{x}}$的特征向量（列向量），即KaTeX parse error: No such environment: smallmatrix at position 57: …= \bigl\{\begin{̲s̲m̲a̲l̲l̲m̲a̲t̲r̲i̲x̲}̲ y_1 \\ y_2 \\…，对于$K$ 纬的特征向量我们有
   $$\mathbf{x}=[{\mathbf{A}}^{\mathbf{T}}{]}^{-1}\mathbf{y}=[{\mathbf{A}}^{-1}{]}^{-1}\mathbf{y}=\mathbf{A}\mathbf{y}=\sum _{\mathbf{k}=1}^{\mathbf{K}}{\mathbf{a}}_{\mathbf{k}}{\mathbf{y}}_{\mathbf{k}}\text{\hspace{1em}(3)}$$
   对于PCA，当降到$M(M<K)$维时，我们只保留前M个$y_i$，令其余$y_i=0,i>M$，此时，还原后的$\mathbf{x}$为
   $$\hat{\mathbf{x}}=\sum _{m=1}^M{\mathbf{a}}_{\mathbf{m}}{\mathbf{y}}_{\mathbf{m}}\text{\hspace{1em}(4)}$$
   均方差估计
   $$\begin{gathered} E(||\mathbf{x}-\hat{\mathbf{x}}|{|}^2)=\mathbf{E}(||\sum _{\mathbf{m}=1}^{\mathbf{K}}{\mathbf{a}}_{\mathbf{m}}{\mathbf{y}}_{\mathbf{m}}-\sum _{\mathbf{m}=1}^{\mathbf{M}}{\mathbf{a}}_{\mathbf{m}}{\mathbf{y}}_{\mathbf{m}}|{|}^2) \\ =\mathbf{E}(||\sum _{\mathbf{m}=\mathbf{M}+1}^{\mathbf{K}}{\mathbf{a}}_{\mathbf{m}}{\mathbf{y}}_{\mathbf{m}}|{|}^2)\text{\hspace{1em}(5)} \end{gathered}$$
   因为特征向量的正交性质，有${\mathbf{a}}_{\mathbf{i}}{\mathbf{a}}_{\mathbf{j}}=0,\mathbf{i}\ne \mathbf{j},{\mathbf{a}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{a}}_{\mathbf{i}}=1$， 所以5式中的平方展开后所有交叉项均为0，只留下平方项，即
   $$E(||\mathbf{x}-\hat{\mathbf{x}}|{|}^2)=\mathbf{E}(\sum _{\mathbf{m}=\mathbf{M}+1}^{\mathbf{K}}{\mathbf{y}}_{\mathbf{m}}^2)=\sum _{\mathbf{m}=\mathbf{M}+1}^{\mathbf{K}}\mathbf{E}({\mathbf{y}}_{\mathbf{m}}^2)\text{\hspace{1em}(6)}$$
   根据
   $$\mathbf{y}={\mathbf{A}}^{\mathbf{T}}\mathbf{x}=\left[\begin{array}{c}{\mathbf{a}}_1^{\mathbf{T}}\\ {\mathbf{a}}_2^{\mathbf{T}}\\ ⋮\end{array}\right]\mathbf{x}=\left[\begin{array}{c}{\mathbf{a}}_1^{\mathbf{T}}\mathbf{x}\\ {\mathbf{a}}_2^{\mathbf{T}}\mathbf{x}\\ ⋮\end{array}\right]$$
   有 $y_i = \bf{a}_i^T\bf{x} $，带入6式
   $$E(||\mathbf{x}-\hat{\mathbf{x}}|{|}^2)=\sum _{\mathbf{m}=\mathbf{M}+1}^{\mathbf{K}}\mathbf{E}({\mathbf{a}}_{\mathbf{m}}^{\mathbf{T}}\mathbf{x}{\mathbf{x}}^{\mathbf{T}}{\mathbf{a}}_{\mathbf{m}})=\sum _{\mathbf{m}=\mathbf{M}+1}^{\mathbf{K}}{\mathbf{a}}_{\mathbf{m}}^{\mathbf{T}}\mathbf{E}(\mathbf{x}{\mathbf{x}}^{\mathbf{T}}){\mathbf{a}}_{\mathbf{m}}=\sum _{\mathbf{m}=\mathbf{M}+1}^{\mathbf{K}}{\mathbf{a}}_{\mathbf{m}}^{\mathbf{T}}{\mathbf{R}}_{\mathbf{x}}{\mathbf{a}}_{\mathbf{m}}\text{\hspace{1em}(7)}$$
   根据定义${\mathbf{a}}_{\mathbf{m}}$ 是${\mathbf{R}}_{\mathbf{x}}$的特征向量，即${\mathbf{R}}_{\mathbf{x}}{\mathbf{a}}_{\mathbf{m}}={\lambda }_{\mathbf{m}}{\mathbf{a}}_{\mathbf{m}}$,所以7式可继续化简为
   $$E(||\mathbf{x}-\hat{\mathbf{x}}|{|}^2)=\sum _{\mathbf{m}=\mathbf{M}+1}^{\mathbf{K}}{\mathbf{a}}_{\mathbf{m}}^{\mathbf{T}}{\lambda }_{\mathbf{m}}{\mathbf{a}}_{\mathbf{m}}=\sum _{\mathbf{m}=\mathbf{M}+1}^{\mathbf{K}}{\lambda }_{\mathbf{m}}$$
   由于我们保留了最大的特征值，显然上式和在所有可能的选择中和最小
   3.2 方差最大，PCA是所有将原始特征降到某一维度的不相关变换中变换后方差最大的。通常我们将随机变量的方差看成变量所包含的信息，从这一意义上，PCA保留了原始特征的最多信息。
   证明:：参考上面的计算过程，我们已经证明了
   $$E(y_m^2)={\lambda }_m$$
   由于我们保留的是最大特征值，所以显然此时方差最大
   3.3 熵最大
   对于m维离散随机变量
   熵
   $$\begin{gathered} H_y=\frac{1}{2}E[{\mathbf{y}}^{\mathbf{T}}{\mathbf{R}}_{\mathbf{y}}^{-1}\mathbf{y}]+\frac{1}{2}\ln |{\mathbf{R}}_{\mathbf{y}}|+\frac{\mathbf{m}}{2}\ln (2\pi ) \\ \mathbf{w}\mathbf{h}\mathbf{e}\mathbf{r}\mathbf{e}\mathbf{E}[{\mathbf{y}}^{\mathbf{T}}{\mathbf{R}}_{\mathbf{y}}^{-1}\mathbf{y}]=\mathbf{E}[\mathbf{t}\mathbf{r}[{\mathbf{y}}^{\mathbf{T}}{\mathbf{R}}_{\mathbf{y}}^{-1}\mathbf{y}]]=\mathbf{E}[\mathbf{t}\mathbf{r}[{\mathbf{R}}_{\mathbf{y}}^{-1}{\mathbf{y}}^{\mathbf{T}}\mathbf{y}]]=\mathbf{E}[\mathbf{I}]=\mathbf{m} \\ \ln |{\mathbf{R}}_{\mathbf{y}}|=\ln ({\lambda }_1{\lambda }_2\cdots ) \end{gathered}$$
   显然此时熵最大