四:
通过复制点改变密度。
用过密度转换求得带宽
第三遍:Question:
- 2.continuous Gini citerarion
离散的点怎么看做连续的问题?
conditional probability density ρ 怎么理解?为什么要用条件概率密度呢?假设核密度估计=条件概率密度 本质上是对核带宽的一个假设,假设核带宽可以给出和准确的密度估计??(24) - 2.2 密度最大的点为s1,其余为s2
- 4.2 metric tensor g(f)什么含义?
|det(gp)|?是将黎曼空间转化为欧式空间?为了密度均衡?但是这样样本的每个分量的贡献不就是相同的了嘛?
第二遍:
证明kernel K-means 在r-small条件下近似于连续基尼准则,而连续基尼准则具有Breiman’s Bias,所以kernel k-means也有Breiman’s Bias。Bias的最优解是将密度大的聚为一类,其他的为另一类。
解决这个问题的方法是密度均衡方法:第一种通过增加低密度点的密度来实现(adaptive point weight,第二种是通过密度转换在新的空间达到密度均衡(adaptive geodesic kernel
第一遍:现象:
-
首先介绍了一系列的聚类准则,kernel k-means等价于AA,他们都有Breiman’s Bias;倾向于将密度最大的一部分聚为一类,其余的为另一类。
-
NC(相当于加权的kernel k-means),他虽然解决了graph cut中opposite density bias,也就是倾向于切割密度最小的孤立的点这个问题,
-
但是他的normalization还是不够彻底,还是会有一些bias,比如self-tune这篇中提到的多个规模的数据的情况下。
证明:
证明了在核函数满足一定形式的情况下,kernel k-means可以用kernel density estimate的形式来表示。
介绍了概率k-means,这是基于模型的聚类方法,如果使用高描述性的参数模型来描述的话(如GMM),概率K-means可以用标准熵准则近似。熵准则可以近似为Gini准则,离散的基尼准则有bias
在r-small条件下,kernel K-means可以近似为连续基尼准则。r-small是指条件概率密度=核密度,实际上是对核带宽的假设,该核带宽可以给出一个准确的密度估计(用以密度估计的带宽≠用于聚类的带宽)
证明连续基尼准则有bias,那么与其近似的kernel K-means也有bias。
(理论证明)
- 提出方法
1、通过adaptive point weight修改低密度点的密度。密度越小,权重越大,增加的点越多。
2、adaptive kernel
定理:黎曼距离的自适应核=嵌入到欧几里得空间的固定带宽的核。存在欧几里得embedding,从欧式空间到N’空间,对于欧式空间的任意一点p,对应于N’空间的fp’,有N’空间中与p点的距离=在欧几里得空间中pq的距离。
根据这个定理可以得到:
那么就涉及到密度转换函数的选择、密度估计方法
- NC
NC使用密度逆转的方法,可以转化为Breiman’s Bias问题
- 统一
对于自适应方法,NC、AA、AC都是等价的。