西瓜书+实战+吴恩达机器学习（五）监督学习之线性判别分析 Linear Discriminant Analysis

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

线性判别分析LDA的思想非常朴素：给定数据集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离。在分类时，同样将样例投影到直线上，根据位置确定类别。

如下图所示（图源：机器学习）：

1. 线性判别分析参数求解方法

定义$X_i{\mu }_i{\Sigma }_i$分别为第$i$类的样例集合、均值向量、协方差矩阵。

两类样本的中心在直线上的投影表示为：$w^T{\mu }_i$。

投影到直线上，两类样本的协方差表示为：$w^T{\Sigma }_{i}w$。

使同类样本尽可能接近，最小化：$w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w$。

使异类样本尽可能远离，最大化：${\Vert w^T{\mu }_0-w^T{\mu }_1\Vert }_2^2$。

则可得最大化目标：
$$\begin{array}{rl}J& =\frac{{\Vert w^T{\mu }_0-w^T{\mu }_1\Vert }_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w}\\ & =\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}\end{array}$$

定义类内散度矩阵：$S_w={\Sigma }_0+{\Sigma }_1$。

定义类间散度矩阵：$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$

则最大化目标重写为，即广义瑞利商：
$$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$

根据拉格朗日乘子法：
$$w=S_w^{-1}({\mu }_0-{\mu }_1)$$
其中，奇异值分解$S_w=U\Sigma V^T$，则$S_w^{-1}=V{\Sigma }^{-1}{U}^T$。

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~