局部线性嵌入(Locally Linear Embedding,LLE)是一种非线性降维算法,它通过在局部线性逼近的基础上构建数据流形结构的低维表示来进行降维。
LLE 基于以下思想:在高维空间中的流形结构可以在局部上近似为线性结构。因此,我们可以通过对每个数据点在其邻域内进行局部线性逼近,然后构建一个局部线性关系矩阵,最后通过求解一个优化问题来获得每个数据点在低维空间中的表示。具体来说,LLE 可以分为以下几个步骤:
首先,对于每个数据点 x i x_i xi,找到它的 k k k 个最近邻点(即局部邻域),并将它们与 x i x_i xi 一起组成一个局部邻域集合。
然后,对于每个数据点 x i x_i xi,通过在其局部邻域内进行线性回归,计算出它在局部邻域内的局部线性权重向量 w i w_i wi,其中权重向量 w i w_i wi 满足以下两个条件:
∑ j ∈ N i w i j = 1 \sum_{j \in \mathcal{N}i} w{ij} = 1 ∑j∈Niwij=1,即权重向量 w i w_i wi 中的所有元素之和为1。
最小化 E ( w i ) = ∣ ∣ x i −