COSTA: Covariance-Preserving FeatureAugmentation for Graph Contrastive Learning

摘要

在本文中，证明了通过图增强获得的节点嵌入是高度偏倚的，在一定程度上限制了对比模型从下游任务中学习判别特征。因此，他们不是研究输入空间中的图增强，而是建议对隐藏特征进行增强(特征增强)。受矩阵草图的启发，提出了一种新的协方差保持特征空间增强框架COSTA，该框架通过保持原始特征的“良好草图”来生成增强特征。为了突出特征增强与COSTA的优势，研究了一个单视图设置(除了多视图设置)，它可以节省内存和计算。

一、介绍

近年来，CL已被应用于图域。典型的图对比学习(GCL)方法通过随机增强输入来构建多个图视图，通过对比正样本和负样本来学习表征。然而，图的不规则结构使图像增强技术的适应变得复杂，并且阻碍了基于视觉的对比学习的理论分析扩展到图。因此，许多工作都集中在图对比学习(即随机边/节点/属性下降)的手工图增强(GA)的经验设计上。值得注意的是，一些最新的研究指出，随机数据增强是有问题的，因为它们的噪声可能与下游任务无关。GCL在极其稀疏的GAs(边缘丢弃率为0.9)下实现了期望的性能增益，但方法在没有GAs的情况下也获得了类似的结果。这样的观察自然提出了一个问题:除了GA之外，还有更好的GCL增强策略吗?

为此，他们表明，与特征增强(FA)获得的嵌入相比，用GA获得的嵌入具有高度偏差，

1、（重点）引出的特征增强优势：

图1:节点嵌入在Cora上的分布是通过500x图增广生成的。a对应于特征增强(高斯噪声注入)。b对应于图增广(边置换和属性屏蔽)。使用二维嵌入来实现可视化。

（GA为例：首先在Cora上随机了一个节点 (Node),然后利用利用Graph Augmentation获得一个新的节点进行嵌(embedding),不断重复上述过程500次,绿色节点是对于一个节点进行500次增强后得到的嵌入分布，蓝色是这500节点的均值，红色是未经过特征增强的节点）

 如图1a所示，FA得到的嵌入总体均值位于最密集的区域，并且靠近原始样本的嵌入(未增强)。相比之下ÿ