独立分量分析:已知信号为S,经混和矩阵变换后的信号为:X=AS。对交叠信号X,求解混矩阵B,使Y=WX各分量尽量相互独立。求解W的过程并不一定是近似A的逆矩阵,Y也不是信号S的近似,而是为了使Y分量之间相互独立。我们的目的是从仅有的观测数据X出发寻找一个解混合矩阵。
常见的方法:InfoMax方法(用神经网络使信息最大化),FastICA方法(固定点算法,寻求X分量在W上投影(W^t)*X)的非高斯最大化。
主要步骤: 预处理部分(简化计算)
(1)对X零均值处理
(2)球化分解(白化)
意义:消除原始各道数据间二阶相关,以后只需要考虑高阶矩量(因为独立时各阶互累积量为0),使很多运算过程简化。
2、核心算法部分:
注意:
由于独立判据函数G的不同,以及步骤不同,有不同的独立分量分析法。
3、Fast ICA算法思路:属于探查性投影追踪
ICA目的:输入球化数据z,经过正交阵U处理,输出Y=Uz
(1)输入球化数据z,经过正交阵某一行向量ui处理(投影),提取出某一独立分量yi.
(2)将此分量除去,按次序依次提取下去,得到所有的yi ,以及ui。
(1)输入球化数据z,经过正交阵某一行向量ui处理(投影),提取出某一独立分量yi.
(2)将此分量除去,按次序依次提取下去,得到所有的yi ,以及ui。
得到独立的基向量U
U=WX
应用:表情分类
得到基向量U后,任何一个样本可用U的线性组合来表示。
线性组合的系数即Xi向U上的投影系数:
Ei=UXi'
训练样本和测试样本可分别得到Ei和Etest。
然后选择合适的分类器,就可以进行分类。最简单的即为最近邻分类器(NNC):用距离参数表示训练集模板与测试样本的差异,认为测试样本与满足最小距离的训练样本属于同一种表情。
U=WX
应用:表情分类
得到基向量U后,任何一个样本可用U的线性组合来表示。
线性组合的系数即Xi向U上的投影系数:
Ei=UXi'
训练样本和测试样本可分别得到Ei和Etest。
然后选择合适的分类器,就可以进行分类。最简单的即为最近邻分类器(NNC):用距离参数表示训练集模板与测试样本的差异,认为测试样本与满足最小距离的训练样本属于同一种表情。