流形学习

经典流形学习：

1、MDS

2、ISOMAP

3、LLE

4、SpecturalEmbeding

6、SNE系列

MDS是在降维后保持样本之间的相对距离不变，ISOMAP对MDS进行改进，讲相对距离改成了测地线距离（机除了领域点之外，其他的之间距离都为无穷大，再通过最小路径求得这些距离无穷大的点间距离），LLE与ISOMAP思想类似，不过LLE绕了一个弯，它构建出高维空间中的领域点间线性模型，并保持在低维空间里这些点的线性模型不变。Speactural则是将高维空间中样本构建出一个特殊的核函数空间，保持这个核空间的谱在低维空间中不变。SNE系列的思想见上一篇文章，相对分布概率不变，并以KL散度作为损失函数。

LLE：

SPECTURAL：

实验一（S曲线）：

实验二（球面数据）：

实验三（手写数字）：

将这几种方法得到的降维结果进行KMEANS聚类，与直接进行聚类比较可得如下，ARI为adjust rand score,SihouteScore为轮廓系数

------------------------------------------------------------------------------------------------
Method                  Method-time     KMeans-time     ARI     SihouetteScore
------------------------------------------------------------------------------------------------
None                             0.0             0.87                  0.67        0.18 
PCA                              0.37           0.51                   0.41        0.09 
MDS                             222.3         0.12                   0.48        0.11 
T-SNE                         47.96          0.09                   0.84       0.16 
Isomap                         5.56            0.41                  0.57        0.09 
LocalLinearEmbeding  2.84            0.12                  0.58        0.09 
SpectralEmbeding        6.22           0.29                   0.49        0.11 
--------------------------------------------------------------------------------------------------