Dimension reduction:ICA

Independent Components Analysis (ICA)

PCA的基本思想是在特征空间中寻找一些方向，使得在新的方向上表示数据的误差平方和最小。

ICA的基本思想是在特征空间中寻找最能使得数据相互独立的方向，所以普遍用于盲信号分离。

所以降维的结果每一维属性之间都相互独立。

 

ICA算法的步骤

a. 假设训练样本X(t)

b. 降维后的样本为S(t)

c. 找到一个矩阵A，使得X=AS，也就是求解A的逆矩阵W, 使得S=WX.

 

ICA的目的是为了求矩阵A的逆矩阵W,假设X(k*n)是k维， S(d*n)是d维(k>d)，A是k*d的矩阵。

 

在这里要比较下与PCA，一般来说，降维的目的是为了进一步的挖掘分析，对于分类前的预处理，ICA比PCA更有效。

 

ICA用之前一般先中心化和白化预处理

中心化：就是让数据的均值为0

白化的方法：先求协方差矩阵，然后求矩阵的特征值构成的矩阵L和特征向量Q, 白化矩阵=L^(-0.5)*Q'，新的样本=白化矩阵*A。目的是为了去除原始样本的各属性之间的相关性