S_Dbw validation在众多论文中被认为是最好的对无监督学习(聚类)的验证,这个验证方法中包括一些比较晦涩的数学公式,现在以下做一下介绍:
1.stdev (average standard deviation of clusters): 表示一个数据集各个cluster的平均偏离
公式为:
2.density(u):用来表征u周围点的数目,比较的阈值为1中的stdev。
公式为:,
3.Dens_bw(c):inter cluster varivance,它用来评估两个cluster一起的密度,和每个单独的cluster的密度的关系。两个cluster一起的密度,显著小于每个单独的cluster的密度,表示聚类效果越好。
公式为:
4.Scater(c): Intra cluster variance:cluster间的平均分散度。
公式为:
5.S_Dbw (c) = Scat(c) + Dens_bw(c)
其中Scat(c)表征compactness,Dens_bw(c)表征separation
6.python实现 : https://github.com/zhangsj1007/Machine-Learning/blob/master/S_Dbw.py
备注:
1. 表示的方差,而不是标准差.
2. 表示求L2范数(即欧式距离).