26、判别分析与树基分类器详解

判别分析与树基分类器详解

1. 判别分析

1.1 线性判别分析（LDA）

线性判别分析（LDA）的目标是找到最优投影方向，使得不同类之间的分离最大化。具体而言，(G_{LDA}) 定义为：
[G_{LDA} = \underset{G}{\text{argmax}} \text{trace}(S_{L}^B(S_{L}^T)^{-1})]
它由 (S_B(S_T)^{-1}) 的第 (\ell) 大特征向量（特征值非零）组成，前提是 (S_T) 非奇异。

当类别数 (K = 2) 时，Fisher’s LDA 与将 (x) 对类别标签进行线性回归是等价的。下面是具体的推导过程：
假设标签为 (\pm1)，数据点经过中心化处理，即 (x_i) 替换为 (x_i - \bar{x})，(y_i) 替换为 (y_i - \bar{y})，并拟合线性模型 (f(x) = x^T\beta)。在平方误差损失下，(\hat{\beta} = (X^TX)^{-1}X^Ty_n)，其中 (X) 是设计矩阵，(y_n = (y_1, \cdots, y_n)^T) 是类别向量。利用 (X^TX = nS_T) 和 (Xy_n = \frac{2n_1n_2}{n}(\bar{x}_1 - \bar{x}_2))，可以验证当 (S_T) 非奇异时：
[\hat{\beta} = \frac{2n_1n_2}{n^2}S_T^{-1}(\bar{x}_1 - \bar{x}_2)]
因此，Fisher’s LDA 的最优 (G) 为 (G_F = S_T^{-1}(\bar{x}_1 - \bar{x}_2))。如果 (S_T) 奇异，可以使用广