时间序列数据预测
文章平均质量分 64
西西弗的小蚂蚁
不要辜负这美好的时光!
展开
-
TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting
受MLP- mixers在视觉领域的成功启发,本文提出了TSMixer,这是一种纯粹设计的MLP架构,具有经验验证的时间序列特定增强,用于多变量预测和表示学习。MLP Mixer layers, 直观地说,每个Mixer layers(图2b)试图学习三个不同方向上的相关性:(i)不同patch之间,(ii) patch内部隐藏特征之间,以及(iii)不同通道之间。它还优于最新的强大的。时间序列数据通常具有固有的层次结构,要么是明确已知的(例如,层次预测数据集[15]),要么是隐含的特征。原创 2023-08-02 15:42:00 · 1105 阅读 · 0 评论 -
micn: multi-scale local and global context modeling for long-term series forecasting
用长度为S−1的占位符为0,它的内核等于S,等距卷积填充长度为S的序列 这意味着我们可以使用一个大的卷积核来测量整个序列的全局相关性。此外,等距卷积的核是由所有训练数据确定的,可以引入一个全局的时间归纳偏差(平移等方差等),并实现比自注意力(相关性从不同元素之间的乘积获得)更好的泛化。对于每个分支,我们使用基于下采样卷积的局部模块提取序列的局部特征,在此基础上,我们使用基于等距卷积的全局模块对全局相关性进行建模。MIC层包含多个分支,具有不同的尺度大小,用于模拟潜在的不同时间模式。原创 2023-02-20 23:21:32 · 119 阅读 · 0 评论 -
Online Event-driven Subsequence Matching over Financial Data Streams
根据具体应用的需求,对检索结果进行不同方式的分析。讨论了一种基于统计信息的未来数据移动预测应用。利用趋势预测的正确性来评价子序列相似性匹配的性能。提出了一种面向海量数据流的自动在线子序列相似性匹配近似方法。通过对输入数据流同时进行在线分割和剪枝算法,得到的数据流分段线性表示具有很高的灵敏度和准确性。相似性的定义基于排列和度量距离函数,为相似性搜索提供了灵活性、敏感性和可扩展性。时间序列数据库中的子序列相似性匹配是许多应用领域的重要研究内容。查询序列是系统自动生成的传入数据流的分段数据表示的最新子序列。原创 2022-12-13 18:32:52 · 189 阅读 · 0 评论 -
Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency
由于预训练和目标域之间的潜在不匹配,在时间序列上进行预训练提出了独特的挑战,例如时间动态的变化、快速演变的趋势以及长程和短周期的影响,这可能会导致下游性能较差。与八种最先进的方法进行的实验表明,TF-C在一对一设置中平均比基线高出15.4% (F1分数)(例如,在肌电信号数据上微调脑电图预训练模型),在具有挑战性的一对多设置中高出8.4%(精度)(例如,微调手势识别或机械故障预测的脑电图预训练模型),反映了现实世界应用中出现的场景的广度。原创 2022-11-25 21:40:51 · 273 阅读 · 0 评论 -
scaleformer: iterative multi-scale refiningtransformers for time series forecasting
引入架构适应和特殊设计的规范化方案,能够实现显著的性能提升,在数据集和transformer架构上从5:5%到38:5%,而额外的计算开销很小。通过详细的消融研究,证明了在架构和方法上的每个贡献的有效性。在我们提出的方法中,如图1所示,时间序列预测在连续的时间步骤中进行迭代优化,使模型能够更好地捕捉每个尺度的相互依赖关系和特性。所提出的框架应用连续的transformer模块,在不同的时间尺度上迭代完善时间序列预测。最近,由于transformer的引入,时间序列预测的性能得到了极大的提高。原创 2022-11-15 20:02:43 · 935 阅读 · 0 评论 -
N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting
从长期预测文献中进行了广泛的大规模数据集实验,证明了所提出方法与最先进的方法相比的优势,其中N-HiTS比最新的Transformer架构提供了16%的平均精度提高,同时将计算时间减少了一个数量级(50倍)。本文在这个方向上迈出了大胆的一步,开发了一种新的预测方法,将长期计算成本降低了一个数量级,同时与现有的最先进的基于transformer的技术相比,在大量多变量预测数据集上提供了16%的精度提高。这些技术使所提出的方法能够依次组装其预测,强调具有不同频率和尺度的分量,同时分解输入信号并合成预测。原创 2022-11-15 19:13:03 · 1813 阅读 · 0 评论 -
Timesnet: Temporal 2d-variation modeling for general time series analysis
由于不同的周期会导致不同的周期内和周期间变化,因此多周期可以自然地推导出一种用于时间变化建模的模块化架构,在该架构中,我们可以在一个模块中捕获由特定周期派生的变化。因此,通过将一维时间序列转化为一组二维张量,可以突破原始一维空间表征能力的瓶颈,并成功地统一二维空间的周期内和周期间变化,从而获得二维时间序列的时域变化。对于每个周期,为了捕获相应的周期内和周期间变化,在时间网中设计了一个时间块,可以将1D时间序列转换到2D空间,并通过参数高效的inception块同时对两种类型的变化进行建模。原创 2022-11-15 16:03:40 · 2443 阅读 · 1 评论 -
Flowformer: Linearizing Transformers with Conservation Flows
但是,其核心组件注意力机制随着输入序列的增长呈现二次复杂度,严重阻碍了Transformer在长序列处理上的应用,同时也限制了其扩展至大模型(Big Model)的能力。通过分别保存用于源竞争的sink的传入流和用于sink分配的源的传出流,流-注意力内在地产生了信息注意力,而不使用特定的归纳偏差。在此框架下,将流守恒性应用于注意力,提出了线性复杂度的流注意力机制。”的启发,在本文中,我们通过网络流视角重新分析经典注意力机制中的信息流动,并通过守恒性质将竞争引入注意力机制设计,以避免平凡注意力问题。原创 2022-11-15 14:15:01 · 16 阅读 · 0 评论 -
ETSformer: Exponential Smoothing Transformers for Time-series Forecasting
通过利用深度架构的高能力和有效的残差学习方案,ETSformer能够提取一系列潜在增长和季节模式,并对其复杂的依赖关系进行建模。受时间序列预测中经典指数平滑方法的启发,提出了新的指数平滑注意力(ESA)和频率注意力(FA)来取代vanilla transformer中的自注意力机制,从而提高了精度和效率。虽然在各种场景中往往显示出有希望的结果,但传统的transformer不是为了充分利用时间序列数据的特征而设计的,因此受到一些基本限制,例如,它们通常缺乏分解能力和可解释性,对于长期预测既无效也低效。原创 2022-11-14 23:46:29 · 115 阅读 · 0 评论 -
Non-stationary Transformers: Rethinking the Stationarity in Time Series Forecasting
非平稳Transformer框架持续大幅提升主流Transformer,在Transformer上降低了49.43%的MSE,在Informer上降低了47.34%的MSE,在Reformer上降低了46.89%的MSE,使其成为时间序列预测方面最先进的。在本文中,我们探讨了平稳化在时间序列预测中的作用,并提出非平稳transformer作为一个通用框架,使transformer[32]及其高效变式[17,36,34]具有对真实世界时间序列的强大预测能力。这就是我们所说的过度平稳化的原因。原创 2022-11-08 23:17:12 · 288 阅读 · 0 评论 -
MacroBase: Prioritizing Attention in Fast Data
MacroBase执行可扩展的流式数据流管道,其中包含对单个数据点进行分类的操作符,以及通过聚合数据点并突出感兴趣的共性来解释数据点组的操作符。这种开发是困难的: 快速数据分析必须i.)确定返回给最终用户的少数结果(以避免压倒他们的注意力),ii.)快速执行以跟上巨大的数据量,iii.)适应数据流本身的变化。MacroBase的默认管道(MDP,我们在图2中说明,并在接下来的两个部分中描述)经过优化,可以在各种数据类型上高效、准确地执行,而不依赖于标记的数据或规则。原创 2022-11-08 17:45:11 · 6 阅读 · 0 评论 -
Landmarks: A New Model for Similarity-Based Pattern Querying in Time Series Databases
本文提出了一种新的时间序列查询模型——Landmark模型,该模型能够产生新的基于相似性的时间序列模式查询技术。相反,它会导致地标相似性,这是一种与人类直觉和情景记忆一致的相似性通用模型。通过跟踪路标的不同特定特征子集,可以高效地计算不同的路标相似性度量,这些度量在六种变换的相应子集下保持不变;除了这些新功能,我们的实验表明,Landmark索引的速度相当快。如果应用于时间序列的一系列变换不会改变相似性,那么相似性度量在这些变换下是不变的。如前所述,相似度模型中包含的变换越多,相似度模型就越强大。原创 2022-10-27 22:19:46 · 10 阅读 · 0 评论 -
Mining Approximate Top-K Subspace Anomalies in Multi-Dimensional Time-Series Data∗
在这样的分析中,关键的数值指标,如利润和销售,会随着时间波动并形成时间序列数据。此外,时间序列数据对应的细分市场由一组属性描述,如年龄、性别、教育程度、收入水平和产品类别,这些属性形成多维结构。时间序列数据立方体中的异常检测带来了计算上的挑战,特别是在高维大数据集上。为此,提出一种高效的搜索算法,在原始高维空间中迭代地选择子空间,并检测每个子空间中的异常。在合成数据和真实数据上的实验验证了所提方法的有效性和高效性。这导致了对预期时间序列和异常度量的计算,异常度量衡量预期时间序列和观测时间序列之间的差异。原创 2022-10-27 20:28:18 · 6 阅读 · 0 评论 -
Similarity Match Over High Speed Time-Series Streams
它最初的任务是寻找那些类似于模式(查询)时间序列数据的时间序列,其中模式和数据时间序列都是静态的。近年来,随着人们对流数据管理需求的不断增长,基于相似性的流时间序列检索因其在流数据处理中的独特要求,如一遍搜索、快速响应等,引起了新的研究热点。种新的时间序列表示方法,称为多尺度段均值(multi-scaled segment mean, MSM),用于流时间序列数据,它可以增量计算,因此可以完美地适应流的特性。大量的实验表明,与多尺度小波相比,多尺度表示结合多步滤波方案能够有效地过滤虚假候选和检测模式。原创 2022-10-27 13:35:10 · 3 阅读 · 0 评论 -
Anticipatory DTW for Efficient Similarity Search in Time Series Databases
时间序列以传感器数据、股票数据、视频和其他与时间相关的信息的形式出现在许多不同的应用中。所提出的加速DTW的方法扩展了使用多步过滤-细化架构的DTW经典算法。在合成和真实时间序列数据库上的彻底实验表明,该技术在效率上有很大的提高,并表明该技术对多元、长时间序列和宽DTW波段具有高度的可扩展性。现有算法的目标是在求精阶段通过过滤数据库和计算DTW来高效地发现相似的时间序列。,即滤波器计算的子序列是子序列本身的有效滤波器。的弯曲路径与从结束到开始的弯曲路径是相同的。最后,DTW是可逆的,即计算从开始到结束。原创 2022-10-27 13:22:21 · 5 阅读 · 0 评论 -
Do Simpler Statistical Methods Perform Better in Multivariate Long Sequence Time-Series Forecasting?
最近的研究集中在开发大型深度学习框架,如Informer和SCINet,并取得了显著的结果。然而,这些复杂的方法并没有与更简单的统计方法进行基准测试,因此,这部分拼图在多变量长序列时间序列预测(MLSTF)中缺失。本文研究了两种简单的MLSTF统计方法,并进行了分析,表明线性回归比深度学习方法有一个误差上界,而SNaive可以作为一种有效的非参数方法,具有不可预测的趋势。对六个真实世界数据集的评估表明,线性回归和SNaive能够实现最先进的MLSTF性能。原创 2022-10-23 16:36:37 · 3 阅读 · 0 评论 -
MARINA: An MLP-Attention Model for Multivariate Time-Series Analysis
对于marina的时间模块,我们采用残差连接的MLP网络,考虑到[25]中报道的MLP的轻量级和显著的周期学习性能。为了挖掘数据的潜在价值,产业界和学术界都迫切需要高效有效的时间序列分析方法。为了适应对有效时间序列分析方法的需求,本文提出了一种新的基于多层感知器(MLP)注意力的神经网络模型MARINA。此外,该模型是通用的,它适用于主要的时间序列分析任务,如预测和异常检测。通过与具有代表性的多变量时间序列预测和异常检测算法的广泛对比,MARINA在预测和异常检测任务中均取得了最先进的性能。原创 2022-10-23 16:02:15 · 5 阅读 · 0 评论 -
AutoForecast: Automatic Time-Series Forecasting Model Selection
本文开发了一种技术,用于为新的未见过的时间序列数据集快速自动选择最佳预测模型,而不需要首先在新的时间序列数据上训练(或评估)所有模型以选择最佳模型。该方法学习了相同数据集在一段时间内的预测模型性能和不同数据集的任务相似性。实验证明了该方法在为单变量和多变量测试平台的未见任务选择更好的预测模型(即收益2倍)方面,优于最先进的(SOTA)单一和集成方法以及几种SOTA元学习器(适应本文问题)。首先训练每个模型,然后对每个模型进行评估,为新的未见过的时间序列数据集,甚至非平稳数据集中的新时间窗口选择最佳模型。原创 2022-10-23 14:31:09 · 4 阅读 · 0 评论 -
Deep Extreme Mixture Model for Time Series Forecasting
开发了一种新的用于单变量时间序列预测的深度极端混合模型(DXtreMM),解决了时间序列中的极端事件。该模型由两个模块组成:1)基于变分解耦自编码器(VD-AE)的分类器和2)基于多层感知器(MLP)的预测单元,结合广义帕累托分布(GPD)估计器分别对下极值和上极值进行预测。通过在真实数据集上的大量实验表明,该模型在极端事件上表现良好,在正常时间步预测方面与现有的基线方法相当。我们的方法背后的思想是,大部分时间序列值遵循高斯分布,而位于分布尾部任意一部分的极值遵循重尾分布。我们开发了3种独立的预测模型,原创 2022-10-23 11:20:48 · 9 阅读 · 0 评论 -
Palette: Towards Multi-source Model Selection and Ensemble for Reuse
虽然源任务和目标任务应该足够相似,但任务相关度的计算通常需要额外的源训练数据存储和领域专家的大量工作,这在许多应用中是不切实际的。给定一组源模型,旨在选择一个源模型子集,并开发一个对目标任务达到最佳性能的集成模型。在MAB中,每个模型都可以看作是一个bandit的手臂,观察到的模型评估结果表明扮演一个想得到的bandit的奖励,目标是快速识别具有最高奖励的arms。总结来说:论文就是提出了一个集成方法,该模型主要借鉴了多臂老虎机的方式,选择最佳的模型。这里面的细节,比如每个模型选择的loss等。原创 2022-09-15 16:00:30 · 10 阅读 · 0 评论 -
Decoupled Dynamic Spatial-Temporal Graph Neural Network for Traffic Forecasting
因此,学习不好的信号部分会被保留。此外,针对两种隐时间序列的特点,分别设计了专门的扩散模型和固有模型。另一部分是从相邻区域扩散开来的车辆(酒红色箭头),例如从工业区(传感器3)和农业区(传感器4)行驶以提供日常用品的车辆。我们分别称它们为隐藏固有时间序列和隐藏扩散时间序列,图2(b)中的每个时间序列都是它们的叠加。因此,预测路网交通状态的能力是一项重要的功能,也是一项具有挑战性的任务。扩散模型旨在对节点间的扩散过程进行建模,其中目标节点未来的扩散信号依赖于相邻节点的最近值,即设置具有时空局部性。原创 2022-09-10 19:44:32 · 991 阅读 · 0 评论 -
Few-shot Learning for Trajectory-based Mobile Game Cheating Detection
另一方面,手机游戏作弊通过程序模拟玩家的输入获取不正当优势,严重损害了游戏的公平性,损害了用户体验。在过去的几十年里,许多面向PC游戏的作弊检测方法被提出,但由于移动设备的隐私、功耗和内存限制,它们不能直接应用于移动游戏中。更糟糕的是,在实践中,作弊程序的更新速度很快,导致新作弊模式的标签稀缺。FCDGame只消耗屏幕传感器数据,记录用户的触控轨迹,这对于几乎所有的手机游戏来说都是比较不敏感和普遍的。我们观察到手机游戏中的作弊模式通常在触摸轨迹中具有相似的潜在共同特征,可以推广到已见和未见的作弊模式。原创 2022-09-10 23:18:56 · 719 阅读 · 0 评论 -
PKDD (2021)
然而,一旦模型被部署到生产中,随着时间的推移,是它们的监控、维护和改进带来了大部分的成本和困难。在重新审视了基于cnn的不同分析任务的方法后,我们暴露了现有使用中的两个常见的关键缺陷:1)学习全局空间相关性的低效,2)忽略潜在区域函数。使用真实交通数据进行的大量实验表明,在稀疏观测下,所提方法比其他传统的交通估计方法具有更低的估计误差和更可靠的结果。在五个真实数据集上进行了广泛的实验评估,与其他最先进的方法相比,所提出方法可以获得高达两个数量级的运行时加速,以及类似或更好的聚类和分类性能。原创 2022-09-06 17:45:39 · 141 阅读 · 0 评论 -
PKDD(2022)
提出了在许多不同类型的时间序列上的结果;在模拟和真实时间序列上进行的实验表明,所提出方法对不同的因果结构是快速和鲁棒的wrt,并在所有数据集上产生良好的结果,而以前提出的方法往往只在少数数据集上产生良好的结果。在预测CHP功率输出的实际用例上,彻底评估了架构设计选择,并表明最终的架构大大提高了学习过程的鲁棒性,在存在非结构化和结构化标签噪声的情况下,始终优于其他最新的最先进的算法。在复杂的工业环境中,监控机器的运行以检测不期望的状态,调整维护计划,优化系统性能或收集单个机器的使用统计信息是常见的做法。原创 2022-09-06 15:24:43 · 216 阅读 · 0 评论 -
Explainable Online Deep Neural Network Selection Using Adaptive Saliency Maps for Time Series Foreca
与上述方法相反,RoCs被认为是动态的,因为它们的大小是由显著图根据输入的时间序列序列和CNN的性能自动确定的,并随着时间的推移而改变。在每个时间步长,确定时间序列观测值的最近观测窗口(即用于计算预测的滞后值)与预计计算的RoCs之间的距离。本文专注于通过考虑来自不同架构(即基于cnn与其他神经网络模型相结合)的不同候选模型来解决这个问题,并使用时间序列中的概念漂移检测,以自适应的方式实时地执行适当架构的选择。在模型选择中,候选模型可以是考虑同一模型的不同参数设置,也可以是训练属于不同模型族的不同模型。原创 2022-09-06 10:34:13 · 386 阅读 · 0 评论 -
时间序列数据机器学习(ICML 2022)
这样做是因为时间序列数据通常来自工业或医疗领域,这些领域的专家通常可以从领域专家那里获得专家特征,而时间序列数据的转换通常很难实现。本文提出了有用的时间序列表示应该满足的两个属性,并表明当前的表示学习方法不能确保这些属性。本文设计了ExpCLR,一种新的对比学习方法,建立在利用专家特征来鼓励学习到的表示的这两种属性的目标上。在三个真实世界的时间序列数据集上证明,ExpCLR在无监督和半监督表示学习方面都超过了一些最先进的方法。凭经验证明了这些属性,并表明该模型在多个真实世界数据集上产生了最先进的预测。...原创 2022-08-30 17:29:30 · 1323 阅读 · 0 评论 -
TARNet: Task-Aware Reconstruction for Time-Series Transformer(KDD2022)
为了在数据重构期间计算要屏蔽的时间戳,我们设计了一种数据驱动的屏蔽策略(图1(b))。时间序列数据包含时间顺序信息,可以指导预测性结束任务的表示学习(例如,分类,回归)。最近,有一些尝试利用这种顺序信息,通过重构随机屏蔽的时间段的时间序列值,首先预训练时间序列模型,然后在同一数据集上进行结束任务微调,证明了结束任务性能的改善。然而,这种学习范式将数据重构与最终任务解耦。在这项工作中,我们提出了TARNet1,任务感知重构网络,一个使用变形金刚学习任务感知数据重构的新模型,增强了终端任务的性能。原创 2022-08-22 12:20:43 · 2659 阅读 · 3 评论 -
Learning Differential Operators for Interpretable Time Series Modeling(KDD2022)
通过这种方式,可以学习目标变量的多项式组合以及其他变量和时间的任何阶导数。其次,提出了一种混合偏微分方程模型,该模型包含多个偏微分方程,每个偏微分方程都在历史时间序列的不同时间跨度和采样率上进行训练。在金融、工程和健康数据的时间序列预测上的广泛实验表明,所提出模型可以提供有价值的可解释性,并取得与最先进模型相当的性能。从实证研究中发现,学习几个微分算子可以捕捉序列动力学的主要趋势,而不需要大量的计算复杂性。然而,它通常需要领域专家知识和一系列简化的假设,并不总是实用的,并且会偏离不断变化的世界。原创 2022-08-19 15:20:07 · 278 阅读 · 0 评论 -
Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting
为了应对这些挑战,我们设计了一个创新的框架四元数转换器(Quaternion Transformer, Quatformer),以及三个主要组件:1)基于四元数的旋转学习(learning-to-rotate attention, LRA),引入可学习的周期和相位信息来描绘复杂的周期模式。该内核可以直接插入点积注意力。为进一步处理多个周期、可变周期和相位偏移,本文提出以数据驱动的方式学习潜在的频率和相位,得到旋转学习注意力,保留了对注意力机制长程依赖的建模能力,并利用了时间序列的周期特性。原创 2022-08-19 11:08:20 · 1046 阅读 · 2 评论 -
n-beats: neural basis expansion analysis for interpretable time series forecasting(ICLR 2020)
对于所有数据集,我们展示了最先进的性能,在统计基准上提高了11%的预测准确性,在去年的M4比赛中提高了3%,M4比赛是一种领域调整的神经网络和统计时间序列模型之间的手工混合。模型的第一个配置没有使用任何特定于时间序列的组件,其在异构数据集上的性能强烈表明,与传统的观点相反,深度学习原语(如残差块)本身就足以解决广泛的预测问题。最后,我们演示了如何对所提出的体系结构进行扩充,以提供可解释的输出,而不会造成相当大的准确性损失。最后,作为探索可解释性的先决条件,体系结构应该具有可扩展性,使其输出具有可解释性。..原创 2022-07-22 17:25:57 · 602 阅读 · 0 评论 -
Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks
Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks摘要:长期以来,多元时间序列建模一直吸引着经济、金融和交通等各个领域的研究人员。多元时间序列预测的基本假设是变量之间相互依赖,但如果仔细观察,现有的方法不能充分利用变量对之间潜在的空间相关性。近年来,图神经网络(gnn)在处理关系依赖方面表现出了很高的能力。gnn需要定义良好的图结构来进行信息传播,这意味着它们不能直接应用于依赖关系未知的原创 2022-06-02 09:34:51 · 1593 阅读 · 1 评论