Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation

深度图神经网络(gnn)已被证明是对图结构数据进行建模的一种表达能力。然而，深度图模型的架构过于臃肿，难以在移动或嵌入式系统上进行部署和快速测试。为了压缩过度堆叠的gnn，基于师生架构的知识蒸馏是一种有效的技术，其中关键步骤是通过预定义的距离函数来测量教师和学生网络之间的差异。然而，对不同结构的图采用相同的距离可能不合适，且最优距离公式难以确定。为解决这些问题，本文提出一种新的图模型对抗知识蒸馏框架GraphAKD，对抗性地训练一个鉴别器和一个生成器，以自适应地检测和减少差异。充分捕获的节点间和类间相关性有利于深度gnn的成功，本文建议用可训练的判别器来批评节点级和类级视图的继承知识。鉴别器区分老师的知识和学生继承的知识，而学生GNN作为生成器，旨在欺骗鉴别器。在节点级和图级分类基准上的实验表明，GraphAKD在很大程度上提高了学生的性能。结果表明，GraphAKD可以准确地将知识从复杂的教师式GNN迁移到紧凑的学生式GNN。

为了压缩深度gnn并保持其表达能力，我们探索了近年来受到越来越多关注的图域知识蒸馏技术

框架：