AGCNT: Adaptive Graph Convolutional Network for Transformer-based Long Sequence Time-Series Forecing

最新推荐文章于 2022-12-04 17:21:33 发布
最新推荐文章于 2022-12-04 17:21:33 发布
阅读量245 收藏 2
点赞数
分类专栏： 时间序列数据预测（基于图神经网络） 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zj_18706809267/article/details/125047587
版权

AGCNT: Adaptive Graph Convolutional Network for Transformer-based Long Sequence Time-Series Forec...

存在一些问题限制了基于transformer的LSTF模型的性能：(i)不考虑序列之间的潜在相关性;(ii)编码器-解码器的固有结构从复杂度上来说，经过优化后难以扩展。

AGCNT具有以下特点:(i)概率自适应图自注意，通过自适应图生成将长序列映射到一个低维密集图结构，并通过自适应图卷积捕获序列之间的关系;(ii)提取概率图自注意的堆叠编码器集成了图注意机制，保留了级联层的主导注意，保持了长序列稀疏查询之间的相关性;(iii)具有生成式推理的堆叠译码器在一次正向操作中生成所有的预测值，可以提高长期预测的推理速度。

主要创新点：提出使用了Adaptive graph generation. Adaptive graph convolution.

西西弗的小蚂蚁
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GCN演变及改进整理
qq_60272314的博客
09-25 4287
目录 一.演变 1.Spectral CNN 2.Chebyshev谱CNN（ChebNet） 3.CayleyNet 4.一阶ChebNet（1stChebNet）-GCN 二.GCN的改进 1.邻接矩阵的探索 Adaptive Graph Convolution Network (AGCN) Dual Graph Convolutional Network(DGCN) 2. 空间域的GCNs（ConvGNNs） Neural Network for Graphs (NN4G..
论文阅读笔记 Convolutional Networks with Adaptive Computation Graphs
weixin_38168907的博客
10-21 1261
一、内容介绍 深度卷积网络可以用来解决很多计算机视觉问题，其中对于图像分类问题网络深度对于分类性能很重要，ResNet网络通过添加恒等映射解决梯度消失的问题以允许训练更深的网络，但是这些网络模型架构对于任何输入图像都是固定的，然而有研究表明ResNet的每一层都可以被移除而性能几乎不受影响，也就是几乎没有一个单独的层对性能至关重要，所以在各个层之间存在高度的冗余。所以一个固定的网络架构可能是不需要...
【阅读笔记11】AGCN-Adaptive Graph Convolutional Neural Networks
最新发布
gaocui883的博客
12-04 221
阅读笔记11
【点云处理之论文狂读经典版13】—— Adaptive Graph Convolutional Neural Networks
yuanmiyu6522的博客
06-14 1201
本文所参考的方法将 one-hop local kernel 扩展到了 KKK-hop 连接的情况上。根据graph Fourier transform，如果UUU是LLL的graph Fourier basis集合，那么： xk+1=σ(gθ(LK)xk)=σ(Ugθ(ΛK)UTxk). x_{k+1}=\sigma\left(g_{\theta}\left(L^{K}\right) x_{k}\right)=\sigma\left(U g_{\theta}\left(\Lambda^{K}\right)
一文带你浏览Graph Transformers
Paper weekly
07-08 1303
©作者 | Dream单位| 浙江大学研究方向 | 图表示学习写在前头为什么图上要使用 Transformer？简要提一下 GT 带来的好处：1. 能捕获长距离依赖2. 减轻出现过平滑，过挤压现象3. GT 中甚至可以结合进 GNN 以及频域信息（Laplacian PE），模型会有更强的表现力。4. 利用好 [CLS] token，不需要额外使用 pooling fu...
【论文阅读笔记】（2s-AGCN）Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognit
qq_36627158的博客
03-22 2441
写在前面 很久之前就出了这篇文章的代码讲解博客：解读 2s-AGCN 代码_小吴同学真棒的博客-CSDN博客_2s-agcn代码 意外发现还挺多人阅读和收藏的，那我借着今天再复习这篇论文的时候再补充一下论文的方法笔记吧。 Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition （2019 CVPR） Lei Shi, Yifan Zhang, Jian Cheng, H..
Adaptive Graph Convolutional Neural Networks
qq_45312141的博客
06-12 3070
Adaptive Graph Convolutional Neural Networks1、Introduction1、Introduction1、Introduction2、Method2、Method2、Method2.1 SGC−LL Layer2.1\ SGC-LL\ Layer2.1 SGC−LL Layer1.学习图Laplacian2.训练图更新的度量3.特征转换重参数化4. 残差图Laplacian2.2 AGCN网络Graph Max Pooli
Skeleton-Based Action Recognition with Multi-Stream Adaptive Graph Convolutional Networks（一）论文阅读
qq_44024204的博客
04-04 1782
目录MS-AAGCN_2019AbstractIntroductionRelated WorkGRAPH CONVOLUTIONAL NETWORKSA.Graph constructionB. Graph convolutionC. ImplementationMULTI-STREAM ATTENTION-ENHANCED ADAPTIVEA. Adaptive graph convolutional layerThe first sub-graph (BkB_{k}Bk​)The second sub-
【论文学习】2s-AGCN：Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition
LoveKKarlie_的博客
03-04 2968
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition；CVPR2019；基于骨架的动作识别的两流自适应图卷积网络。2s-AGCN
CVPR2020论文分方向整理之检测篇_3D目标检测（代码/论文解读/136篇打包下载）
胭脂草的ABC博客
08-06 1万+
CVPR2020论文分方向整理之检测篇（代码/论文解读/136篇打包下载） 本周三，CVPR官方正式开放下载，极市第一时间将所有论文（共1467篇）进行了下载打包，详情见此处。为了方便大家进一步的学习，我们对这1467篇论文进行了整理，本次分享的是所有检测类论文，并将它们细分为3D目标检测、人脸检测、动作检测、视频目标检测、文本检测、行人检测等方向，同时附上了相关解读和已开源论文的代码，共计149篇，并将其打包，获取方式见文末。 3D目标检测 【1】Learning Deep Network...
论文笔记：Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting
Zongyouqiangu的博客
11-26 3125
自注意力的思想是通过使用相应的查询键对查询其他token来更新每个令牌自己的值在该论文中中，作者提出了一种新的模型，称为ASTNN，用于交通预测的图结构时空建模。ASTNN是由堆叠的ST-Attention Block构建的，用于同时建模空间和时间相关性。作者使用局部多头自注意（L-MSA）来有效地计算时空图上的关注。此外，为了探索真实的空间相关性并提高局部时空注意力的性能，还引入了可学习自适应图，该图可以帮助目标节点选择相关节点进行关注。
论文翻译 SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction 用于行人轨迹预测的稀疏图卷积网络
Sun_ZD的博客
12-06 5783
SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction 用于行人轨迹预测的稀疏图卷积网络 行人轨迹预测是自动驾驶中的一项关键技术，但由于行人之间复杂的相互作用，该技术仍具有很大的挑战性。 然而，以往基于密集无向交互的研究存在建模冗余交互和忽略轨迹运动趋势等问题，不可避免地与实际存在较大偏差。 针对这些问题，我们提出了一种用于行人轨迹预测的稀疏图卷积网络(SGCN)。 具体来说， SGCN明确地使用稀疏有向空间图对
图卷积网络（Graph Convolutional Network）
chensi1995的博客
08-16 6万+
一. 图简介，图卷积网络的出现。 图（graph）是一种数据格式，它可以用于表示社交网络、通信网络、蛋白分子网络等，图中的节点表示网络中的个体，连边表示个体之间的连接关系。许多机器学习任务例如社团发现、链路预测等都需要用到图结构数据，因此图卷积神经网络的出现为这些问题的解决提供了新的思路。下图就是一个简单的图结构数据： 图上的神经网络，最早由Joan Bruna于2014年在论文Spect...
GCN (Graph Convolutional Network) 图卷积网络解析
祥瑞的技术博客
04-16 8万+
目的：图卷积网络近两年大火，博主实习需要用到。接下来几个月就会在图卷积网络上做很多东西。这篇是刚开始对图卷积网络的学习，所以会广泛参考相关论文与网上的技术博客，总结归纳，希望提炼出有用的知识，加深对于图卷积网络的理解。重要内容链接会贴出方便大家学习，也很欢迎大家跟我探讨或者分享心得。对于复杂的公式与繁杂的推证，博主希望尽可能理解其意义，对于难以理解的或者暂时没有时间推证的可以先记下其结论，方便后续...
《Adaptive Graph Convolutional Neural Networks》论文理解
moster.YC的博客
06-05 3456
1.AGCN模型框架 AGCN由多个连续层组合而成，其核心层为SGC-LL层。层组合包括一个SGC-LL层，一个批处理归一层和一个图最大池化层。在每个SGC-LL层训练残差图Laplacian，并在接着一层图池层。在下一个SGC-LL层之前，自适应图(固有+残差图)一直被重用，因为SGC-LL会变换特征，所以下一个SGC-LL需要重新训练一个新的残差图。 在进过上述组合层（SGC-LL层，批处理归一层，图最大池化层）后，批处理的图形结构将被更新，而图形大小保持不变。由于任何图像粗化或特征平均都将破坏信息性局
图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导
热门推荐
知行合一，止于至善
08-24 15万+
文章目录1. 为什么会出现图卷积神经网络？2. 图卷积网络的两种类型2.1 vertex domain(spatial domain)：顶点域（空间域）2.2 spectral domain：频域方法（谱方法）3. 什么是拉普拉斯矩阵？3.1 常用的几种拉普拉斯矩阵普通形式的拉普拉斯矩阵对称归一化的拉普拉斯矩阵（Symmetric normalized Laplacian）随机游走归一化拉普拉斯矩...
图卷积样例 graph convolution network
心之所向
12-20 8961
来源：如何用图卷积网络在图上做深度学习 Graph Neural Network Review 傅里叶分析之掐死教程（完整版）更新于2014.06.06 如何理解 Graph Convolutional Network（GCN）？ graph convolution network有什么比较好的应用task？ 卷积神经网络不能处理“图”结构数据？这篇文章告诉你答案 如何用图卷积网络（G...
从CNN到GCN的联系与区别——GCN从入门到精（fang）通（qi）
weixin_40013463的博客
07-17 9万+
博客刷不出来图的，去知乎地址吧，没图不好懂的。https://www.zhihu.com/question/54504471/answer/332657604 1 什么是离散卷积？CNN中卷积发挥什么作用？ 了解GCN之前必须对离散卷积（或者说CNN中的卷积）有一个明确的认识： 如何通俗易懂地解释卷积？这个链接的内容已经讲得很清楚了，离散卷积本质就是一种加权求和。 如图1所示，CNN中的卷...
图神经网络（Graph Neural Networks）概述
看我，看我，还看我，再看我就把你吃掉！
06-04 7万+
论文：A Comprehensive Survey on Graph Neural Networks 一篇关于图神经网络的综述文章，着重介绍了图卷积神经网络（GCN），回顾了近些年的几个主要的图神经网络的的体系：图注意力网络、图自编码机、图生成网络、图时空网络。 1、介绍 传统的机器学习所用到的数据是欧氏空间（Euclidean Domain）的数据，欧氏空间下的数据最显著的特征就是有着规则...
Graph Transformer Networks（图Transformer网络）
垃圾就应该待在垃圾桶里的博客
03-25 1万+
Graph Transformer Networks与2019年发表在NeurIPS上 文章目录摘要一、Introduction二、Related Works三、Method3.1准备工作3.2 Meta-Path Generation3.3 Graph Transformer NetworksConclusion个人总结 摘要 图神经网络(GNNs)已被广泛应用于图形的表示学习，并在节点分类和链路预测等任务中取得了最先进的性能。然而，大多数现有的神经网络被设计来学习固定和同构图上的节点表示。当学习由各

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值