AUTOMATED SELF-SUPERVISED LEARNING FOR GRAPHS

图自监督学习因其能够学习具有表现力的节点表示而受到越来越多的关注。许多前置任务或损失函数是从不同的角度设计的。不同的前置任务在不同数据集上对下游任务的影响不同,这表明对前置任务的搜索对图自监督学习至关重要。与现有工作侧重于设计单一的前置任务不同,本文旨在研究如何自动有效地利用多个前置任务。然而,在不直接访问地面真值标签的情况下,评估从多个伪装任务中获得的表示使这个问题具有挑战性。为解决这一障碍,本文利用许多现实世界图的一个关键原则,即同质性,或"同类吸引同类"的原则,作为指导,来有效搜索各种自监督伪装任务。本文提供了理论理解和经验证据,以证明同质性在这一搜索任务中的灵活性。提出AUTOSSL框架来自动搜索各种自监督任务的组合。通过在8个真实数据集上评估该框架,实验结果表明,与单个任务下的训练相比,AUTOSSL可以显著提高节点聚类和节点分类等下游任务的性能。

总结:

组合多个SSL任务来联合编码多个信息源并产生更一般化的表示,为不同的下游任务服务。我们利用图同质性并提出伪同质性来衡量SSL任务组合的质量。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
自我监督学习是一种机器学习方法,通过对数据进行合理的预测任务,从中获得有用的表示。与传统的监督学习不同,自我监督学习不需要人工标注的标签来指导训练,而是利用数据自身的信息进行训练。 自我监督学习的基本思想是从未标记的数据中构造有意义的标签,然后将这些标签用作训练数据,以学习有用的特征表示。通过对输入数据进行某种形式的变换或遮挡,可以生成一对相关的样本。其中一个样本称为正样本,另一个则被视为负样本。例如,在图像领域中,可以通过将图像进行旋转、裁剪或遮挡等变换来生成正负样本对。模型的目标是通过学习从一个样本到另一个样本的映射,从而使得正样本对之间的相似度更高,负样本对之间的相似度更低。 自我监督学习在许多任务中都取得了很好的效果。例如,在自然语言处理任务中,可以通过遮挡句子中的某些单词或短语来生成正负样本对,然后通过学习从一个句子到另一个句子的映射来进行训练。在计算机视觉任务中,可以通过图像的旋转、裁剪、遮挡或色彩变换等方式来生成正负样本对。 自我监督学习的优点是不需要人工标注的标签,可以利用大量的未标记数据来进行训练,从而扩大训练数据的规模。此外,自我监督学习还可以通过学习到的特征表示来提高其他任务的性能,如分类、目标检测和语义分割等。 总之,自我监督学习是一种有效的无监督学习方法,通过构造有意义的预测任务,从未标记的数据中学习有用的特征表示。它在各种任务中都有广泛的应用,并具有很高的潜力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值