LDA (降维1)

LDA：
1). 一种监督降维技术；
2). Linear Discriminant Analysis（线性判别分析），是一种supervised learning也叫Fisher’s Linear Discriminant；
3). LDA通常作为数据预处理阶段的降维技术，目标是将数据投影到低维空间来避免维度灾难（curse of dimensionality）引起的过拟合，同时还保留着良好的可分性；

思想：
1.）给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；
2.）在对新样本进行分类时，将其投影到这条直线上，再根据投影点的位置来确定新样本的类别。

• 欲使同类样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小；
• 欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大；

图1：椭圆表示数据簇的外轮廓，虚线表示投影，红色实心圆和实心三角表示两类样本投影后的中心点