在文章LDA(线性判别分析,Linear Discriminant Analysis)中,我们已经从贝叶斯理论的角度推导了LDA。现在我们来看LDA是如何应用于二分类问题的。
两个类别的对数几率
和逻辑回归一样,我们可以通过求两个类别的对数几率来判断当前数据属于哪个类别。
l o g P ( Y = 1 ∣ X = x ) P ( Y = 0 ∣ X = x ) = l o g P 1 ( x ) P 0 ( x ) + l o g π 1 π 0 = l o g π 1 π 0 − 1 2 ( μ 1 + μ 0 ) T Σ − 1 ( μ 1 + μ 0 ) + x T Σ − 1 ( μ 1 − μ 0 ) ( 1 ) \begin{aligned} log\frac{P(Y=1\mid X=x)}{P(Y=0\mid X=x)} &=log\frac{P_1(x)}{P_0(x)}+log\frac{\pi_1}{\pi_0}\\ &=log\frac{\pi_1}{\pi_0}-\frac{1}{2}(\mu_1+\mu_0)^T\Sigma^{-1}(\mu_1+\mu_0)+x^T\Sigma^{-1}(\mu_1-\mu_0) \qquad(1) \end{aligned} logP(Y=0∣X=x)P(Y=1∣X=x)=logP0(x)P1(x)+logπ0π1=logπ0π1−21(μ1+μ0)TΣ−1(μ1+μ0)+xTΣ−1(μ1−μ0)(1)
若(1)>0, 则认为 x x