LDA（线性判别分析，Linear Discriminant Analysis）

读完周志华教授的《机器学习》中的线性判别分析章节，他从LDA实现的效果角度对其进行了推导：类间间距要尽可能大，类内间距尽可能小的基本思想通过拉格朗日乘子法可以简单解出想要的结果。但是在章节的最后，教授提到：LDA可以从贝叶斯决策理论的角度来阐释，并可证明，当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类。

今天，我们从贝叶斯理论的角度来阐释一回神奇的LDA.

---

贝叶斯定理

我们先从条件概率入手：
$$\begin{array}{rl}P(A|B)& =\frac{P(A\cap B)}{P(B)}\\ P(B|A)& =\frac{P(B\cap A)}{P(A)}\end{array}$$
显然有$P(A\cap B)=P(B\cap A)$，则可推导出贝叶斯定理：
$$P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}$$
贝叶斯公式可以解释为：事件B的发生是由事件A导致的概率。

---

LDA模型

将上述公式应用到我们的分类问题上来，我们可以改写这个公式。
$$P(Y=k|X=x)=\frac{P(X=x|Y=k)\cdot P(Y=k)}{P(X=x)}(1)$$
在LDA中我们使用高斯分布，这样，我们来改写(1)式中的三项因子。
首先是$x$在$k$这个类别的类条件概率，建设我们的数据在每个类别上都是一个n维高斯分布。则：
P ( X = x ∣ Y = k ) = P k ( x ) = 1 ( 2 π ) n / 2 ∣ Σ k ∣ 1 / 2 e x p [ − 1 2 ( x − μ k ) T Σ k − 1 ( x − μ k ) ] ( 2 ) P(X=x|Y=k)=P_k(x)=\frac{1}{(2\pi)^{n/2}|\Sigma_k|^{1/2}}exp[-\frac{1}{2}(x-\mu_k)^T\Sigma_k^{-1}(x-\mu_k)] \qquad(2) P(X=x∣Y=k)=Pk​(x)=(2π)n/2∣Σk​∣1/21​exp[−21​(x−μk​)