Canonical Correlation Analysis(CCA) 典型相关分析

1.典型相关分析的基本思想

  首先，什么是非典型的即经典的相关分析。给你两组变量X=[x1,x2,...,xm]，Y=[y1,y2,...,yn]，要研究X和Y之间的相关性，就是要得到一个X和Y的协方差矩阵cov(X,Y)，矩阵中的每一个值uij表示的就是X的第i维特征xi和Y的第j维特征yj之间的相关性。之后的相关性研究工作就是要基于这个矩阵展开。

  这样做的一个弊端就是，只考虑了xi和yj单个维度的相关性，没有考虑X和Y自己内部之间的相关性。而且协方差矩阵有mxn个值，使问题变得复杂，难以从整体上把握。

  而典型相关分析则不是这样，它从总体上把握了两组变量之间的相关程度。

  我们用两个综合变量U和V来分别表示两组变量。他们分别是X和Y的线性组合（当然有很多种组合方式，即很多组U、V）：
\[U = {w_{ {x_1}}}{x_1} + ... + {w_{ {x_m}}}{x_m} = {w_X}^TX\]
\[V = {w_{ {y_1}}}{y_1} + ... + {w_{ {y_m}}}{y_m} = {w_Y}^TY\]