LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括,就是“投影后类内方差最小,类间方差最大”。什么意思呢? 我们要将数据在低维度上进行投影,投影后希望每一种类别数据的投影点尽可能的接近,而不同类别的数据的类别中心之间的距离尽可能的大。
线性判别分析的算法流程:
1.计算类内散度矩阵Sw;
2.计算类间散度矩阵Sb;
3.计算矩阵A:
4.计算矩阵A的最大的d个特征值和对应的d个特征向量,得到投影矩阵B;
5.对样本集中的每一个样本特征转化为新的样本,输出样本集。