主成分分析

最新推荐文章于 2021-05-25 10:13:55 发布

卖小孩的咖啡

最新推荐文章于 2021-05-25 10:13:55 发布

阅读量1k

点赞数

分类专栏：机器学习文章标签：矩阵 pca

本文链接：https://blog.csdn.net/zhzhji440/article/details/43955059

版权

机器学习专栏收录该内容

21 篇文章 2 订阅

订阅专栏

一相关知识
二主成分分析PCA
- 1 概述
  - 原理分析
  - 主成分分析的一般目的
参考

一相关知识

均值、协方差矩阵：

样本均值 $M = \frac{1}{N}\left( {{X_1} + {X_2} + \cdots + {X_N}} \right)$
中心化： $X k \land = X k - M$ ${\mathop X\limits^ \wedge _k} = {X_k} - M$
$B = [X \land 1 X \land 2 \dots X \land N]$ $B = \left[ {\begin{array}{*{20}{c}} {{{\mathop X\limits^ \wedge }_1}}&{{{\mathop X\limits^ \wedge }_2}}& \cdots &{{{\mathop X\limits^ \wedge }_N}} \end{array}} \right]$
样本协方差: $S = \frac{1}{{N - 1}}B{B^T}$

二主成分分析（PCA）

2.1 概述

原理分析

主成分分析是一种通过降维技术把多个变量化为重新组合成少数几个互不相关的主成分（即综合变量）的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量线性组合。

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ F 1 F 2 ⋮ F m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ a 11 a 21 ⋮ a m 1 a 12 a 22 a m 2 \dots ⋱ \dots a 1 p a 2 p a m p ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ X 1 X 2 ⋮ X m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ (1)

$\left[ {\begin{array}{*{20}{c}} {{F_1}}\\ {{F_2}}\\ \vdots \\ {{F_m}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{a_{11}}}&{{a_{12}}}& \cdots &{{a_{1p}}}\\ {{a_{21}}}&{{a_{22}}}&{}&{{a_{2p}}}\\ \vdots &{}& \ddots &{}\\ {{a_{m1}}}&{{a_{m2}}}& \cdots &{{a_{mp}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_1}}\\ {{X_2}}\\ \vdots \\ {{X_m}} \end{array}} \right]~~~~~~~~~~~~~~\left(1 \right)$

而且主成份的信息量要尽量大，即其方差要尽可能大

通过上述分析，主成份分析有以下几个特点：

主成分个数远远少于原有变量的个数： $m \le p$
主成分之间应该互不相关: ${\mathop{\rm cov}} \left( {\begin{array}{*{20}{c}} {{F_i}}&{{F_j}} \end{array}} \right) = 0$
主成分能够反映原有变量的绝大部分信息
即 ${\mathop{\rm var}} \left( {{F_i}} \right)$ 要尽可能大
主成分具有命名解释性

因为 ${F_i} = \left[ {\begin{array}{*{20}{c}} {{a_{i1}}}&{{a_{i2}}}& \cdots &{{a_{ip}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_1}}\\ {{X_2}}\\ \vdots \\ {{X_p}} \end{array}} \right]= {a_{i \bullet }}\overrightarrow X$ ，所以

var (F i) = var (a i ∙ X \to) = a i ∙ \sum a T i ∙

${\mathop{\rm var}} \left( {{F_i}} \right) = {\mathop{\rm var}} \left( {{a_{i \bullet }}\overrightarrow X } \right) = {a_{i \bullet }}\sum a_{i \bullet }^T$
其中

∑ $\sum$ 为

X→ $\overrightarrow X$ 的协方差矩 1

根据二次型的条件优化的相关定理2，原变量协方差矩阵的特征根是主成分的方差，所以前m个较大特征根就代表前m个较大的主成分方差值
所以有 $var \left( {{F_i}} \right)=\lambda _{i}$ ，其中 $\lambda _{i}$ 为协方差矩[的第 $i$ 个特征值

主成分分析的一般目的

1.变量的降维
2.主成分的解释

计算步骤：
1、计算协方差矩阵 $\sum$
2.求上述矩阵的特征值和特征向量，可以得到以下等式

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ F 1 F 2 ⋮ F p ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ e T 1 e T 2 ⋮ e T p ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ x 1 x 2 ⋮ x p ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\left[ {\begin{array}{*{20}{c}} {{F_1}}\\ {{F_2}}\\ \vdots \\ {{F_p}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {e_1^T}\\ {e_2^T}\\ \vdots \\ {e_p^T} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{x_1}}\\ {{x_2}}\\ \vdots \\ {{x_p}} \end{array}} \right]$

其中 $e_{i\cdot}$ 为特征向量

e i \cdot = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ e i, 1 e i, 2 \cdot \cdot \cdot e i, p ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$e_{i\cdot }=\begin{bmatrix} e_{i,1}\\ e_{i,2}\\ \cdot \cdot \cdot \\ e_{i,p} \end{bmatrix}$

根据累计贡献率 $G\left(m \right)=\sum_{m}^{1}{\lambda }_{i}/\sum_{p}^{1}{\lambda }_{k}$ ，取累计贡献率大于85%对应的m值；

计算主成份负荷 $\rho \left({F}_{i},{X}_{j} \right)=\sqrt{{\lambda }_{i}}{e }_{ij}/\sqrt{{S}_{i}}$ ，其中 ${S}_{i}$ 为随机变不了 ${X}_{j}$ 的样本方差

证明：
因为

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ F 1 F 2 ⋮ F p ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ e T 1 e T 2 ⋮ e T p ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ x 1 x 2 ⋮ x p ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

F=UTX $F={U}^{T}X$ ，因为

U $U$ 为标准正交矩阵，所以

UF=X $UF=X$ ，所以

Xi=e1jF1+e2jF2+⋅⋅⋅+epjFp $X_{i}=e_{1j}F_{1}+e_{2j}F_{2}+\cdot \cdot \cdot +e_{pj}F_{p}$
因为

Fi ${F}_{i}$ 之间相互独立，则

cov(Fi,Fj)=0，i≠j $cov\left ( F_{i},F_{j} \right )=0，i\neq j$
所以

cov(Fi,Xj)=cov(Fi,e1jF1+e2jF2+⋅⋅⋅+epjFp)=cov(Fi,eijFi)=eij⋅cov(Fi,Fi)=λi⋅eji $cov\left ( F_{i},X_{j} \right )=cov\left ( F_{i},e_{1j}F_{1}+e_{2j}F_{2}+\cdot \cdot \cdot +e_{pj}F_{p} \right )=cov\left ( F_{i},e_{ij}F_{i} \right )=e_{ij}\cdot cov\left ( F_{i},F_{i} \right )=\lambda _{i}\cdot e_{ji}$
所以主成份负荷

ρ (F i, X j) = c o v (F i, X j) / {v a r (F i) v a r (X j) - - - - - - - - - - - \sqrt} = λ i - - \sqrt e i j / S i - - \sqrt

$\rho \left({F}_{i},{X}_{j} \right)=cov\left ( F_{i},X_{j} \right )/\left \{ \sqrt{var\left ( F_{i} \right )var\left ( X_{j} \right )} \right \}=\sqrt{{\lambda }_{i}}{e }_{ij}/\sqrt{{S}_{i}}$

参考

张贤达矩阵分析与应用 1.3 随机向量 P26-32: 线性代数 ↩
二次型的条件优化 ↩

卖小孩的咖啡

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
主成分分析

一相关知识二主成分分析PCA1 概述原理分析主成分分析的一般目的参考一相关知识均值、协方差矩阵：样本均值M=1N(X1+X2+⋯+XN)M = \frac{1}{N}\left( {{X_1} + {X_2} + \cdots + {X_N}} \right)中心化：Xk∧=Xk−M{\mathop X\limits^ \wedge _k} = {X_k} - M B=
复制链接

扫一扫