[P11] Incomplete Multi-view Spectral Clustering with Adaptive Graph Learning

Incomplete Multi-view Spectral Clustering with Adaptive Graph Learning


来源:2020 Cybernetics
作者:Jie Wen, Yong Xu∗, Senior Member, IEEE, Hong Liu

缺失多视图论文汇总:https://github.com/Jeaninezpp/Incomplete-multi-view-clustering

关键词

缺失多视图聚类;图学习

Introduction

缺失方法可以分为两类:

  • 基于矩阵分解的
    • 通过矩阵分解得到地位的一致表示。如(PMVC)
    • 先填充,然后使用加权非负矩阵分解学习一致表示。(MIC),给缺失填充样本较小的权重。
    • 存在问题:这些基于矩阵分解的方法,共同的问题是它们仅关注于学习一致的表示,而忽略了数据的内在结构,这不能保证所学习到的表示的紧凑性和可辨别性。
  • 基于图的
    • 旨在学习低维表示。比基于矩阵分解的方法更能有效的探索数据的几何结构。
    • 因此图的创建非常重要,但是因为缺失的原因,无法构造出完整的连接所有样本的图。
      • 先填充。然而缺失比例高时,填充的部分主导表示的学习。
      • [27]使用矩阵分解得到的潜在表示来获得包含全局信息的图。
  • 现有方法局限性
    • 需要有一些样本在所有视图都是完整的。case (a)PMVC/IMG都可以处理。
      在这里插入图片描述
    • 基于图的方法无法学到全局最优的一致表示。因为子空间学习过程和图构造的过程分离。
  • 本文方法:
    • 联合学习低维一致表示和相似图,这样可以获得全局最优的一致表示。
    • 间接的从各个视图的低维表示中学到一个一致的表示。

相关工作

  1. 谱聚类
    在这里插入图片描述
    L 最小c个特征值对应的特征向量构成 n × c n\times c n×c的F,作为低维表示。

  2. 多视图子空间学习
    在这里插入图片描述
    Gao el al. 提出MVSC 学到一致的聚类指示矩阵。将图重建和低维表示学习结合在一起,学到一个局部最优的一致表示F,再使用k-means得到最终的聚类结果。

方法

  • Graph-based 方法存在问题:
    • 每个视图都有缺失,各自构造的图尺寸不一样。
      • 均值填充。
        • 导致缺失的样本被视为同一类,以同样的权重相连,这使得缺失的样本在低维子空间中被拉在一起,无论他们是否来自同一类。因此这样的图填充方法不合理,尤其是在大比例缺失的情况下。
        • 更合理的方法是将这些缺失样本相连的权重设置为0。这样缺失视图中不确定的相似信息将不会在学习数据聚类表示中起负面作用。仅利用可用样本的真实相似性信息来指导表示学习,有利于获得更可靠的数据聚类表示,不免缺失视图的负面影响。
    • 不能反应出所有样本之间的关系。
如何将缺失样本权重置为0:

Z ( v ) Z^{(v)} Z(v)是未缺失样本的图, Z ˉ ( v ) \bar{Z}^{(v)} Zˉ(v)是整张图。
通过索引矩阵将 Z ( v ) Z^{(v)} Z(v)缺失样本部分填充为0变成 Z ˉ ( v ) \bar{Z}^{(v)} Zˉ(v)
Z ˉ ( v ) = G ( v ) T Z ( v ) G ( v ) \bar{Z}^{(v)}={G^{(v)}}^T Z^{(v)} G^{(v)} Zˉ(v)=G(v)TZ(v)G(v)
在这里插入图片描述
因此 L ˉ ( v ) = G ( v ) T L ( v ) G ( v ) \bar{L}^{(v)}={G^{(v)}}^T L^{(v)} G^{(v)} Lˉ(v)=G(v)TL(v)G(v)

得到缺失版的MVSC:
在这里插入图片描述
考虑到:
(1) 数据源于低秩的子空间,
(2) 非负的图有利于改善聚类性能并使学到的图更具有解释性。

添加:
(1) 对图的低秩约束
(2) 对图的非负约束

因此目标函数变为:
在这里插入图片描述


其中 ∑ v Tr ⁡ ( F T G ( v ) T L ( v ) G ( v ) F ) \sum_{v} \operatorname{Tr}\left(F^{T} G^{(v) T} L^{(v)} G^{(v)} F\right) vTr(FTG(v)TL(v)G(v)F)等价于 1 2 ∑ j = 1 n ∑ i = 1 n ( ∥ F i , : − F j , : ∥ 2 2 ∑ v W ˉ i , j ( v ) ) \frac{1}{2} \sum_{j=1}^{n} \sum_{i=1}^{n}\left(\left\|F_{i,:}-F_{j,:}\right\|_{2}^{2} \sum_{v} \bar{W}_{i, j}^{(v)}\right) 21j=1ni=1n(Fi,:Fj,:22vWˉi,j(v))

表明了权重为多个图的相似度之和。
然而在缺失多视图聚类中,这样的方式同等的对待缺失样本的权重和非缺失样本的权重。

这样导致,属于相同类的样本权重可能会低于不同类的样本权重。当相同类样本缺失较多,而不同类缺失较少时。

  • 为解决这个问题,我们提出从聚类指示矩阵们中学习一致的表示。
    在这里插入图片描述
    8式与7式主要不同在于,7式是从多个拉普拉斯矩阵得到一个聚类指示矩阵,而8式是每个拉普拉斯矩阵得到一个拉普拉斯矩阵。
  • 使用 Γ ( ⋅ ) \Gamma(\cdot) Γ() 来度量每个视图的表示 F ( v ) F^{(v)} F(v)与一致表示 U U U 之间的不相似性。除以各自的F范数达到归一化的目的,具有可比性。
    在这里插入图片描述
    K选择线性核, K U = U U T K_U=UU^T KU=UUT,原因有二。
    ∥ K U ∥ F 2 = t r ( K T K ) = t r ( U U T U U T ) = t r ( U U T ) = t r ( U T U ) = t r ( I c ) = c \left\|K_{U}\right\|_{F}^{2}=tr(K^TK)=tr(UU^TUU^T)=tr(UU^T)=tr(U^TU)=tr(I_c)=c KUF2=tr(KTK)=tr(UUTUUT)=tr(UUT)=tr(UTU)=tr(Ic)=c
    带入9式中得到

    最终8式可以具体写为下面的目标函数
    在这里插入图片描述

优化

使用ADMM

实验

在这里插入图片描述
在这里插入图片描述

  • 缺点:
    时间复杂度为: O ( τ ( k n 3 + n 3 + ∑ v n v 3 ) ) O\left(\tau\left(k n^{3}+n^{3}+\sum_{v} n_{v}^{3}\right)\right) O(τ(kn3+n3+vnv3))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值