不规则时间序列
文章平均质量分 67
西西弗的小蚂蚁
不要辜负这美好的时光!
展开
-
WHEN: AWavelet-DTW Hybrid Attention Network for Heterogeneous Time Series Analysis KDD2023
具有较短距离 的规整方式具有较大的注意力系数 ,因此,在输出 b 中,具有较短距离的规整方式将获得更多的关注。因为每个滑动窗口采样后的 和 长度是有限的,所以它们对应的规整方式也是有限的(同时在滑动窗口长度较短时,规整方式总数目也并不大),假设总共有 种不同的规整方式,它们对应的 种规整距离可以写为。通过专门设计的分析,详细探讨了when处理时间序列异质性的能力。图 4 中,动态时间规整注意力模块的输入记为序列 ,这里论文采用一个滑动窗口覆盖输入序列 ,形成了图中的 ,而图中的 则是一个可学习的参数序列。原创 2023-10-02 21:34:47 · 189 阅读 · 0 评论 -
Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment
Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment 序列事件预测的目标是根据历史事件序列估计下一个事件,在序列推荐、用户行为分析和临床治疗等方面都有应用。在实践中,练下一个事件预测模型用一次收集的序列数据进行训,需要在遥远的未来泛化到新到达的序列,这就要求模型处理从训练到测试的时间分布转移。本文首先从数据生成的角度揭示了一个消极的结果,即由于潜在的上下文混淆因素,即历史事件和下一个事件的共同原因,现有的原创 2022-12-03 14:47:56 · 19 阅读 · 0 评论 -
ACE-NODE: Attentive Co-Evolving Neural Ordinary DifferentialEquations(KDD 2021)
神经常微分方程(NODEs)为构造(连续时间)神经网络提供了一种新的范式。虽然在参数的数量和构造神经网络的灵活性方面显示出一些良好的特性,但它们也有一些众所周知的局限性:i)理论上节点只学习同态映射函数,ii)有时节点在解决积分问题时显示出数值不稳定性。为了处理这个问题,提出了许多改进。然而,据我们所知,将注意力集成到node中已经被忽视了一段时间。为此,我们提出了一种新的注意性双协同进化节点(ACE-NODE)方法:一个主节点用于下游机器学习任务,另一个主节点用于向主节点提供注意。我们的ACE-NODE同原创 2022-06-29 21:22:49 · 243 阅读 · 0 评论 -
Graph Neural Controlled Differential Equations for Traffic Forecasting(AAAI2022)
交通预测是机器学习领域中最热门的时空任务之一。将图卷积网络与递归神经网络相结合进行时空处理是该领域的一种流行方法。竞争激烈,许多新颖的方法被提出。本文提出了时空图神经控制微分方程(STG-NCDE)方法。神经控制微分方程(NCDEs)是处理序列数据的一个突破性概念。我们扩展了概念,设计了两个NCDEs:一个用于时间处理,另一个用于空间处理。之后,我们将它们组合成一个单独的框架。我们使用6个基准数据集和20个基线进行实验。STG-NCDE在所有情况下都显示出最好的准确性,比所有这20个基线都有显著的优势。总结原创 2022-06-29 20:10:35 · 1508 阅读 · 7 评论 -
Neural Ordinary Differential Equations(NIPS2018)
我们引入了一个新的深度神经网络模型家族。我们不指定隐藏层的离散序列,而是使用神经网络参数化隐藏状态的导数。利用黑盒微分方程解算器计算网络的输出。这些连续深度模型具有恒定的存储成本,根据每个输入调整其评估策略,并且可以明确地用数值精度换取速度。我们在连续深度残差网络和连续时间潜变量模型中证明了这些性质。我们还构建了连续规范化流程,这是一个可以通过最大似然进行训练的生成模型,无需对数据维度进行划分或排序。为了进行培训,我们展示了如何通过任何ODE求解器进行可伸缩的反向传播,而不需要访问其内部操作。这允许在较大的原创 2022-06-29 13:59:58 · 674 阅读 · 0 评论 -
Neural Controlled Differential Equations forIrregular Time Series(NIPS2020)
神经常微分方程是模拟时间动力学的一个有吸引力的选择。然而,一个根本问题是常微分方程的解是由初始条件决定的,没有根据后续观测调整轨迹的机制。在这里,我们演示了如何解决这可能是通过很好理解的数学控制微分方程。由此产生的神经控制微分方程模型直接适用于部分观测的不规则采样多元时间序列的一般设置,并且(与之前关于这个问题的工作不同)它可能利用内存高效的伴随反向传播,甚至跨观测。在一系列数据集的实证研究中,我们证明了我们的模型在与类似(基于ODE或RNN的)模型相比达到了最先进的性能。最后,我们提供了理论结果,证明了通原创 2022-06-28 23:42:43 · 797 阅读 · 0 评论 -
EXIT: Extrapolation and Interpolation-based Neural Controlled Differential Equations for Time-series
受微分方程启发的深度学习是最近的研究趋势。其中,利用神经控制微分方程(NCDEs)建立时间序列模型是一种突破。在许多情况下,基于ncde的模型不仅比递归神经网络(RNNs)提供了更好的精度,而且使处理不规则时间序列成为可能。在这项工作中,我们通过重新设计其核心部分,即从离散的时间序列输入生成连续路径,来增强NCDEs。NCDEs通常使用插值算法将离散的时间序列样本转换为连续的路径。然而,我们建议i)使用编码器-解码器架构生成另一个潜在的连续路径,这与NCDEs的插补过程相对应,即我们基于神经网络的插补与现有原创 2022-06-28 20:47:03 · 539 阅读 · 0 评论 -
Modeling Irregular Time Series with Continuous Recurrent Units(ICML2022)
递归神经网络(RNNs)是一个流行的选择建模顺序数据。现代RNN架构假设观测之间的时间间隔恒定。然而,在许多数据集(如医疗记录)中,观察时间是不规律的,并且可能携带重要信息。为了应对这一挑战,我们提出了连续循环单元(CRUs),这是一种神经结构,可以自然地处理观察之间的不规则间隔。CRU假设一个隐藏状态,它根据线性随机微分方程演变,并集成到一个编码器-解码器框架。CRU的递推计算可以用连续-离散卡尔曼滤波器导出,并且是封闭形式。由此产生的循环架构在隐藏状态和门控机制之间具有时间连续性,可以最佳地集成噪声观测原创 2022-06-28 17:05:20 · 704 阅读 · 1 评论