图神经网络
文章平均质量分 59
西西弗的小蚂蚁
不要辜负这美好的时光!
展开
-
INCREASE: Inductive Graph Representation Learning for Spatio-Temporal Kriging
我们首先根据未知节点与已知节点每一时间步的差异性来确定输入到GRU网络中的未知节点表示的重要性,其次根据差异性表示对历史时间步的重要性进行调整,最后将两部分重要性表示结合到GRU神经网络的输入门及遗忘门中来进行关系感知GRU网络的计算,使其能够在多重异质关系中根据邻居节点在时间维度上的信息流动模式指导未知节点时间相关性的建模。,提出了空间聚合模块和时序建模模块,能够在空间维度上聚合多重异质关系的邻居节点信息得到未知节点的特征表示,并在时间维度上根据邻居节点的信息流动模式指导未知节点时间相关性的建模。原创 2023-07-06 11:40:06 · 180 阅读 · 0 评论 -
Automating Incremental Graph Processing with Flexible Memoization
SMT研究判断一个给定的一阶公式是否可满足的问题,即是否给未解释的函数和常数符号赋了适当的值以使公式为真。底层的Ingress是一个自动增量框架,配备了四种不同的记忆策略,以支持各种以顶点为中心的计算,并优化内存利用率。对于无记忆(MF)策略,推导出的增量算法应该直接从批运行的收敛状态启动两组消息,即取消消息和补偿消息,这两组消息分别用于处理无效消息和丢失消息。不断增长的动态图数据需要高效的增量图处理技术。此外,给定很小的输入变化∆G,通常会发现对G的计算与用∆G更新的新图的重新计算之间有相当大的重叠。原创 2022-10-27 10:30:03 · 4 阅读 · 0 评论 -
Staleness-Aware Communication-Avoiding Full-Graph Decentralized Training in Large-Scale Grap
否则,如果嵌入变得太过时,结果将被广播并在gpu之间的缓存中更新,以保持系统在一定范围内的过时性。从根本上说,Sancus简单而有效,它基于一种避免矩阵阻塞的通用通信算法,用于并行计算,在分散GNN训练期间缓存和重用陈旧的历史嵌入,并相应地跳过广播。本文提出Sancus,一种过时性感知的避免通信的去中心化GNN训练系统,通过自适应跳过广播和缓存过时性有限的历史嵌入。为避免worker之间昂贵的数据移动所导致的通信,本文提出Sancus,一种过时性感知的通信,避免分散的GNN系统。原创 2022-10-26 19:58:54 · 6 阅读 · 0 评论 -
G3: When Graph Neural Networks Meet Parallel Graph Processing Systems on GPUs
G3允许用户通过以下两种方式利用gpu的大规模并行和其他架构特性:通过编写一组灵活的api(应用程序编程接口)顺序的C/ c++代码构建GNN层;一种用于图神经网络(GNN)训练的框架,由图形处理单元(gpu)上的图处理系统定制。G3旨在通过使用并行图处理系统支持图结构操作来提高GNN的训练效率。展示了用G3开发一些流行GNN模型的步骤,以及G3相对于现有GNN训练系统(即PyTorch和TensorFlow)的优越性能。G3的运行时系统在GPU上自动执行用户定义的gnn,并启用一系列以图为中心的优化。原创 2022-10-26 18:32:53 · 2 阅读 · 0 评论 -
NeutronStar: Distributed GNN Training with Hybrid Dependency Management
在16节点的阿里云集群上的实验结果表明,与现有的GNN系统DistDGL和ROC相比,NeutronStar取得了1.81 x -14.25倍的加速比。该系统的有效性在于,在给定的图和硬件环境下,估计每个依赖邻居的DepCache开销和DepComm开销,并针对不同的依赖选择性价比最高的处理策略。本文采用顶点切割的主镜像框架将跨worker的图操作与worker内的NN操作解耦,而不是手动实现跨worker的前向/后向计算操作,从而可以将现有DNN系统的硬件优化的操作实现用于局部NN操作。原创 2022-10-26 18:27:39 · 9 阅读 · 0 评论 -
Grain: Improving Data Efficiency of Graph Neural Networks via Diversified Influence Maximization
本文提出Grain,一种有效的框架,通过将gnn中的数据选择与社会影响最大化联系起来,开辟了一个新的视角。通过挖掘gnn的共同模式,Grain将新的特征传播概念、具有新颖影响力和多样性函数的多样化影响力最大化目标以及具有近似保证的贪婪算法引入到统一框架中。在公开数据集上的实证研究表明,Grain显著提高了gnn数据选择(包括主动学习和核心集选择)的性能和效率。据我们所知,这是在图神经网络(gnn)的背景下,首次尝试连接两个基本上并行的研究线索、数据选择和社会影响最大化,为提高数据效率铺平了新道路。原创 2022-10-26 16:09:00 · 9 阅读 · 0 评论 -
TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs
在4个使用单GPU的小规模数据集和2个使用多GPU的大型数据集上评估了tgl的性能,用于链接预测和节点分类任务。将TGL与5种方法的开源代码进行比较,TGL取得了类似或更好的精度,平均加速比为13倍。在一个4-GPU的机器上,TGL可以在1-10小时内训练一个超过10亿个时间边的epoch。据我们所知,这是第一项提出在多gpu上训练大规模时序图神经网络的通用框架的工作。一种用于大规模离线时序图神经网络训练的统一框架,用户可以用简单的配置文件组成各种时序图神经网络。许多现实世界的图包含时域信息。原创 2022-10-26 15:44:52 · 14 阅读 · 0 评论 -
AliGraph: A Comprehensive Graph Neural Network Platform
通过在具有4.929亿个顶点、68.2亿个边和丰富属性的真实数据集上进行广泛的实验,AliGraph在图构建方面的速度快了一个数量级(根据最先进的PowerGraph平台的报告,这一数字是5分钟vs小时)。在训练中,使用新的缓存策略后,AliGraph的运行速度提高了40%-50%,并在改进后的运行时间下提高了约12倍。文中提出了一个全面的图神经网络系统AliGraph,该系统由分布式图存储、优化的采样算子和运行时间组成,有效地支持现有的流行图神经网络和一系列自主开发的适用于不同场景的图神经网络。原创 2022-10-26 15:34:48 · 14 阅读 · 0 评论 -
ALG: Fast and Accurate Active Learning Framework for Graph Convolutional Networks
其次,利用GCNs接收域的特性,ALG提出了一种最大化有效接收域(ERF)的节点选择准则,综合考虑了节点的重要性和相关性。本文证明了这个ERF最大化问题是np -难的,并给出了一个有效的算法和一个可证明的近似保证。在每次迭代中,ALG以图G = (V, E)、特征矩阵X和更新的标签集作为输入,计算提出的代表性和信息量度量,并将它们组合成一个唯一的有效性感知的表示节点重要性的度量。出ALG,一种新的GCNs主动学习框架,利用特定领域的智能,与通用的AL框架相比,实现了更高的性能和效率。原创 2022-10-26 13:50:39 · 10 阅读 · 0 评论 -
Stochastic Origin-Destination Matrix Forecasting Using Dual-Stage Graph Convolutional, Recurrent Neu
由于行程可能不会覆盖每个区间的所有OD对,因此得到的OD矩阵很可能是稀疏的。解决了从稀疏的历史OD矩阵预测完整的、近未来的OD矩阵的问题。本文将出行成本建模为分布,因为当在一对OD区域之间旅行时,即使在相同的间隔内,不同的车辆也可能以不同的速度行驶,例如,由于不同的驾驶风格或在十字路口的不同等待时间。为解决这个问题,本文提出了一个通用的学习框架,(i)利用矩阵分解和图卷积神经网络来解决数据稀疏问题,同时捕获空间相关性;本文研究了随机起讫点矩阵的预测问题——基于历史随机od矩阵预测未来的od矩阵。原创 2022-10-26 12:03:30 · 10 阅读 · 0 评论 -
Hierarchical Bipartite Graph Neural Networks: Towards Large-Scale E-commerce Applications
在多个真实的电子商务数据集上的实验结果表明,HiGNN比其他几种流行的方法取得了显著的性能提升。据报道,分层表示有利于在同一个社区中行为相似的用户和主题驱动的分类法的背景下进行更个性化的项目推荐。通过对从上一个GNN层获得的嵌入执行通用聚类算法,构建一个粗化的图作为下一个GNN层的输入。一些最先进的协同过滤方法利用用户-项目二部图上的非线性交互,能够用图神经网络(gnn)学习更好的用户和项目表示。更重要的是,它很容易扩展到一个非常大的实际应用程序,而不涉及昂贵的矩阵运算。原创 2022-10-26 11:49:32 · 9 阅读 · 0 评论 -
Forecasting Ambulance Demand with Profiled Human Mobility viaHeterogeneous Multi-Graph Neural Netwo
预测区域救护车需求是实现车辆动态调配的基础。虽然探索了EMS历史记录中的空间和时间相关性,但现有的方法主要考虑了前者的时不变,而在现实中不一定如此。此外,这一假设忽略了一个事实,即幕后的动态是人,其人口结构和活动模式可能是区域EMS需求的决定因素。正如时间序列图(见图4a)和部分自相关函数(见图4b)所示,区域救护车需求(1小时时间切片)在短期和周期性(如每日、每周)观察中显示出很强的(统计显著性)自相关.显式地利用历史记录中的最新、每日和每周观察作为输入,来表示这种多层次的时间依赖关系。原创 2022-10-26 11:17:01 · 2 阅读 · 0 评论 -
Gaia: Graph Neural Network with Temporal Shift aware Attention for Gross Merchandise Value Forecast
该模型包含三个基本组件:特征融合层(FFL)、时间嵌入层(TEL)和经典图卷积网络的时间和时内偏移感知注意力机制(ITAGCN)。FFL负责组合基本特征和商店的GMV系列,TEL旨在提取时间模式,而ITA-GCN设计良好,不仅可以从单个商店的时间序列中捕获时间偏移模式,还可以从相邻商店的时间序列中捕获时间偏移模式。然而,在数字化数据不足的情况下,要做出准确的预测并不容易。借助图神经网络(GNN)强大的关联不同实体的能力来丰富信息,提出了一种具有时间偏移感知注意力的图神经网络(GNN)模型Gaia。原创 2022-10-26 11:02:20 · 4 阅读 · 0 评论 -
Dynamic Hypergraph Convolutional Network
具体而言,这些优点可以归结为:1)动态超图构建(dynamic hypergraph construction, DHC)捕捉了历史上下文内容的特征,为动态超图的构建提供了指导;2)时空超图卷积模块(spatiotemporal hypergraph convolution module, STHC)负责提取节点和超边之间的时空关系,3)协同预测模块(collaborative prediction module, CP)负责整体的时变超图嵌入聚合。同样,在时间步T,新的超边em和en出现,其余的消失。原创 2022-10-26 10:57:01 · 13 阅读 · 0 评论 -
Search to aggregate neighborhood for graph neural network
本文提出一种新的NAS框架,试图搜索聚合邻域(SANE)以实现GNN中的自动架构搜索。通过重新审视广泛的GNN模型,定义了一个新的和富有表现力的搜索空间,可以模拟比现有NAS方法更多的人类设计的GNN架构,即GraphNAS和Auto-GNN。通过设计一个新颖的、富有表现力的搜索空间,提出了一种可微的搜索算法,比以往的基于强化学习的方法更高效。本文提出一种框架,试图搜索到聚集邻域(SANE),以自动设计数据特定的GNN架构,以获得数据特定的GNN架构,并解决NAS方法面临的计算挑战。为解决架构和计算挑战,原创 2022-10-26 10:05:25 · 8 阅读 · 0 评论 -
Price-aware Recommendation with Graph Convolutional Networks
主要困难在于:1)用户对物品价格的偏好和敏感度是未知的,仅隐含地反映在用户购买过的物品上;2)物品价格如何影响用户的购买意愿在很大程度上取决于产品的类别,即用户对物品价格的感知和承受能力可能在不同类别之间存在显著差异。针对第一个难点,本文建议对用户到物品和物品到价格之间的传递关系进行建模,灵感来自最近发展的图卷积网络(GCN)。在两个真实的数据集上进行了广泛的实验,证明了基于gcn的方法在学习用户价格感知偏好方面的有效性。进一步的分析表明,对价格意识进行建模对于预测用户对未探索类别的物品的偏好特别有用。原创 2022-10-26 09:51:45 · 3 阅读 · 0 评论 -
Graph Convolutional Networks with EigenPooling
它们通常通过转换、传播和聚合节点特征来学习节点表示,已被证明可以提高许多图相关任务的性能,如节点分类和链接预测。为了将图神经网络应用于图分类任务,需要从节点表示中生成图表示。因此,需要一个分层池化过程,以在图表示学习期间保持图结构。文中提出了一种基于图傅里叶变换的池化算子EigenPooling,能够充分利用池化过程中的节点特征和局部结构。然后基于池化算子设计池化层,并进一步与传统GCN卷积层相结合,形成图神经网络框架EigenGCN用于图分类。然而,在池化过程中,局部结构信息仍然在很大程度上被忽略。原创 2022-10-20 12:00:08 · 6 阅读 · 0 评论 -
AUTOMATED SELF-SUPERVISED LEARNING FOR GRAPHS
为解决这一障碍,本文利用许多现实世界图的一个关键原则,即同质性,或"同类吸引同类"的原则,作为指导,来有效搜索各种自监督伪装任务。通过在8个真实数据集上评估该框架,实验结果表明,与单个任务下的训练相比,AUTOSSL可以显著提高节点聚类和节点分类等下游任务的性能。许多前置任务或损失函数是从不同的角度设计的。不同的前置任务在不同数据集上对下游任务的影响不同,这表明对前置任务的搜索对图自监督学习至关重要。组合多个SSL任务来联合编码多个信息源并产生更一般化的表示,为不同的下游任务服务。原创 2022-10-20 11:57:19 · 8 阅读 · 0 评论 -
Scalable Graph Embeddings via Sparse Transpose Proximities
基于转置邻近度的概念,设计了一种基于因子分解的图嵌入算法STRAP,同时实现了可扩展性和非线性。通过施加稀疏性约束,我们能够对邻近矩阵应用非线性操作,并执行高效的矩阵分解来导出嵌入向量。最后,进行了广泛的实验研究,评估了各种图嵌入算法的有效性,表明STRAP在有效性和可扩展性方面优于最先进的方法。图嵌入学习图中节点的低维表示,并有效地保留图结构。最近,这一新兴研究领域取得了重大进展。二是现有方法大多采用基于随机游走的邻近性,在无向图上存在优化目标冲突的问题。对有向图和无向图上的图嵌入技术进行了深入研究。原创 2022-10-20 11:42:33 · 7 阅读 · 0 评论 -
Graph Neural Networks with Node-wise Architecture
根据经验,我们分别通过三个控制器引入的性能改进来证明节点架构的效果。所提出的框架在10个真实世界数据集中的5个上的表现明显优于最先进的方法,这些数据集的多样性阻碍了任何基于图卷积的方法同时领导它们。本文提出了一个框架,其中参数控制器根据每个节点的局部模式决定其GNN架构。用深度、聚合器和分辨率控制器实例化该框架,然后详细学习骨干GNN模型和控制器,以鼓励它们的合作。本文论证了GNN节点架构搜索的必要性。最优架构是平等地应用于图的所有实例(即上下文中的节点),这可能不足以处理图中根深蒂固的不同局部模式。原创 2022-10-20 11:38:15 · 2 阅读 · 0 评论 -
Approximate Graph Propagation
进行了广泛的实验研究,证明了AGP在两个具体应用中的有效性:基于热核PageRank的局部聚类和基于GNNs的节点分类。最值得注意的是,对10亿边的图论文100m进行了实证研究,这是迄今为止最大的公开可用GNN数据集。本文提出近似图传播(Approximate Graph Propagation, AGP)算法,一种统一的随机化算法,计算各种邻近查询和GNN特征传播,包括转移概率、个性化PageRank、热核PageRank、Katz、SGC、GDC和APPNP。行的,每篇论文都专注于。原创 2022-10-20 11:25:32 · 4 阅读 · 0 评论 -
BernNet: Learning Arbitrary Graph Spectral Filters via Bernstein Approximation
与以往的方法相比,BernNet可以近似带阻滤波器和梳状滤波器等复杂滤波器,并且可以提供更好的可解释性。实验表明,BernNet可以学习任意光谱滤波器,包括复杂的带阻和梳状滤波器,并在现实世界的图建模任务中取得了优越的性能。然而,现有的工作要么应用预定义的滤波器权重,要么学习它们没有必要的约束,这可能会导致滤波器过于简化或不适定。本文提出了BernNet,一种图神经网络,通过Bernstein多项式逼近,提供了一种简单直观的机制,用于设计和学习任意谱滤波器。特别地,对于图的规范化拉普拉斯谱上的任何滤波器,原创 2022-10-20 11:17:25 · 11 阅读 · 0 评论 -
Origin-Destination Matrix Prediction via Graph Convolution: a New Perspective of Passenger Demand
网约车应用为司机和乘客提供方便的乘车服务,正变得越来越受欢迎,尤其是在北京或纽约这样的大都市。为了获取乘客的出行模式,在线出行服务平台需要提前预测从一个区域到另一个区域的乘客需求数量。本文将该问题表述为一个Origin-Destination Matrix Prediction (ODMP)问题。虽然这一问题对于大规模的乘车服务提供商来说至关重要,有助于他们做出决策,一些提供商已经公开提出1,但现有的研究并没有很好地解决这一问题。其中一个主要原因是ODMP问题比普通需求预测更具挑战性。原创 2022-09-12 16:38:40 · 486 阅读 · 0 评论 -
图神经网络(ICML2022)
由此产生的模型名为FLASH3,与改进的transformer在短(512)和长(8K)上下文长度上的困惑度相匹配,在自回归语言建模方面,在Wiki-40B上实现了高达4.9倍的训练加速,在PG-19上实现了12.1倍的训练加速,在掩码语言建模方面在C4上实现了4.8倍的训练加速。结果表明,所提出方法可以以最小的微调成本实现更高的压缩比,并产生出色的和有竞争力的性能。值得注意的是,具有特征集成的NAFS在这些任务上优于最先进的GNN,并缓解了大多数基于学习的GNN对应方法的上述两个限制。...原创 2022-08-31 15:33:31 · 1830 阅读 · 0 评论 -
Deep Variational Graph Convolutional Recurrent Network for Multivariate Time Series Anomaly Detect
本文提出一种新的深度变分图卷积循环网络(DVGCRN),由一个成熟的深度嵌入引导的概率生成网络(DEPN)来建模MTS中的分层不确定性相互关系,堆叠的图卷积循环网络(SGCRN)来建模多级时间依赖,以及高斯分布的信道嵌入来描述不同信道的相似性和随机性,如图6所示。2): MTS中总是存在一些噪声时间序列,如Fig. 1 (a)中的“Out rate”、“in rate”、“Hit TTFB”,这些噪声时间序列既会引起时间波动,也会引起关系波动,从而容易导致误判,如图1 (a) (b)中的区域4所示。...原创 2022-08-29 17:49:57 · 1406 阅读 · 3 评论 -
DSTAGNN: Dynamic Spatial-Temporal Aware Graph Neural Network for Traffic Flow Forecasting
然而,由于道路网络中存在复杂的动态时空相关性,实现高度准确的交通流预测是一项具有挑战性的任务。背景:1)文中历史数据是高度动态和复杂的时空依赖模式 2)不考虑区域之间的距离,相似的城市功能区可能导致路网中节点之间的交通数据存在相关性。首先,考虑到历史数据承载着路网空间结构的内在动态信息,提出了一种基于数据驱动策略的动态时空感知图,以取代传统图卷积中预定义的静态图。时空感知距离(STAD)可以为节点之间的依赖关系提供更准确的估计,但这些依赖关系的动态特性需要进一步细化以适应实时数据的变化。...原创 2022-08-29 13:52:56 · 1988 阅读 · 0 评论 -
Graph Self-Supervised Learning: A Survey
图的深度学习近年来引起了人们的极大兴趣。然而,大多数工作都集中在(半)监督学习上,导致了标签依赖严重、泛化能力差、鲁棒性弱等缺点。为解决这些问题,。与计算机视觉和自然语言处理等其他领域的SSL不同,图形上的SSL具有独特的背景、设计思想和分类方法。在图自监督学习的框架下,对对图数据采用SSL技术的现有方法进行了及时和全面的回顾。构建了一个统一的框架,从数学上形式化了graph SSL的范式。根据前置任务的目标,将这些。原创 2022-08-24 17:06:25 · 1226 阅读 · 0 评论 -
Variational Inference for Training Graph Neural Networks in Low-Data Regime through Joint Structure-
然而,大多数现有的GNN模型往往需要足够的观察数据来进行有效的学习和泛化。在现实世界中,完整的输入图结构和足够的节点标签可能很难实现,GNN模型将面临严重的性能下降。它通过双分支网络协同学习与任务相关的新图结构和节点表示,并针对稀缺观测数据和海量缺失数据之间的相互依赖关系,从底层数据生成分布中派生出一个复合变分目标。特别是,在弱监督的低数据状态下,标记节点和观察到的边都非常有限,在常见基准上的节点分类和链接预测的广泛实验结果表明,WSGNN比强大的竞争对手具有最先进的性能。原创 2022-08-21 20:13:55 · 220 阅读 · 0 评论 -
Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation
为了压缩过度堆叠的gnn,基于师生架构的知识蒸馏是一种有效的技术,其中关键步骤是通过预定义的距离函数来测量教师和学生网络之间的差异。为解决这些问题,本文提出一种新的图模型对抗知识蒸馏框架GraphAKD,对抗性地训练一个鉴别器和一个生成器,以自适应地检测和减少差异。充分捕获的节点间和类间相关性有利于深度gnn的成功,本文建议用可训练的判别器来批评节点级和类级视图的继承知识。鉴别器区分老师的知识和学生继承的知识,而学生GNN作为生成器,旨在欺骗鉴别器。原创 2022-08-21 19:48:24 · 275 阅读 · 0 评论 -
Learning to Discover Causes of Traffic Congestion with Limited Labeled Data
交通拥堵造成了出行时间的长延迟,严重影响了人们的日常出行体验。探究交通拥堵发生的原因对于有效解决交通拥堵问题、提升用户体验具有重要意义。传统的拥塞原因挖掘方法需要人工干预,费时且成本高。因此,我们旨在以系统的方式发现交通拥堵的已知和未知原因。然而,实现这一目标面临3个挑战:1)交通拥堵受多个具有复杂时空关系的因素影响;2)由于人为标记的限制,已知原因的拥塞数据数量较少;3)由于影响交通拥堵的因素很多,更多的未知拥堵原因尚未被探索。大量实验表明,所提方法的性能优于基线方法。原创 2022-08-21 17:19:34 · 224 阅读 · 0 评论 -
Dual Bidirectional Graph Convolutional Networks for Zero-shot Node Classification
综上所述,BiGCN的思想有两个方面:(1)学习到的节点和类的联合表示融合了节点之间的关系,从而产生具有相似表示的相似节点;(2)学习到的节点和类的联合表示融合了类之间的关系,从而得到表示相似的图上相似的类。与公式(4)不同的是,可以从类的角度学习节点和类的联合表示,可以更好地利用可见类和未见类之间的关系。零样本节点分类对于经典的半监督节点分类算法,如被广泛应用于节点分类的图卷积网络(GCN),是一个非常重要的挑战。在零样本节点分类中,考虑类别之间的关系是至关重要的。原创 2022-08-21 16:36:38 · 383 阅读 · 0 评论 -
Instant Graph Neural Networks for Dynamic Graphs
当图发生变化时,对受影响节点的表示向量进行局部调整,通过下一步的传播操作计算变化对剩余节点的影响。更新策略的基础是基于个性化PageRank的底层机制,即在动态图的演化过程中始终保持不变,如引理1所述。特别是InstantGNN在保持相当精度的同时,将具有数百万节点的大图的计算效率提高了一对多的数量级。图的变化在图表示中反映出来有很大的延迟,导致模型的准确性损失;实证结果表明,所提出模型达到了最先进的精度,同时比现有方法的效率高几个数量级。该方法避免了耗时的重复计算,并允许对表示进行即时更新和即时预测。原创 2022-08-21 16:13:52 · 918 阅读 · 0 评论