MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing

已于 2024-04-13 10:25:31 修改
阅读量39 收藏
点赞数
分类专栏： 图数据挖掘 时间序列异常检测 时间序列数据表征学习 文章标签： 人工智能
于 2023-08-02 16:34:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zj_18706809267/article/details/132065820
版权

MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing（ICML 2023）

5 实验

5.1 实验装置

数据集：我们在多个公共现实基准上进行了广泛的实验，涵盖经济、能源、交通、天气和传染病预测场景。下面是数据集的详细描述。(1) ECL记录了321个客户2012 - 2014年的小时用电量。(2) ETT(电力变压器温度)由电力变压器收集的数据组成，记录了六种电力负荷特征和油温。(3) Traffic

最低0.47元/天 解锁文章
西西弗的小蚂蚁
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
时间序列预测模型实战案例深度学习华为MTS-Mixers模型
10-27
首先我们要对时间序列概念有一个基本的了解时间序列预测大致分为两种一种是单元时间序列预测另一种是多元时间序列预测单元时间序列预测是指只考虑一个时间序列的预测模型。它通常用于预测单一变量的未来值，例如股票价格、销售量等。在单元时间序列预测中，我们需要对历史数据进行分析，确定趋势、季节性和周期性等因素，并使用这些因素来预测未来的值。常见的单元时间序列预测模型有移动平均模型（MA）自回归模型（AR）自回归移动平均模型（ARMA）差分自回归移动平均模型（ARIMA）后期我也会讲一些最新的预测模型包括Informer，TPA-LSTM,ARIMA,XGBOOST,Holt-winter，移动平均法等等一系列关于时间序列预测的模型,包括深度学习和机器学习方向的模型我都会讲,你可以根据需求选取适合你自己的模型进行预测，如果有需要可以+个关注。
基于PyTorch的MTS-Mixers代码
04-13
这是MTS-Mixers的官方实现：通过因子化时间和通道混合进行多元时间序列预测。 使用： 1. 安装 Python 版本不低于 3.6，PyTorch 版本不低于 1.5.0。 2. 运行 pip install -r requirements.txt 3. 下载数据并将 .csv 文件放在 ./dataset 文件夹中。您可以从 Google Drive 获取所有基准测试数据。所有数据集都经过了良好的预处理，可以轻松使用。 4. 训练模型。我们在 script.md 中提供了一个运行所有基准测试脚本的示例。如果需要，您可以更改任何超参数。请查看 run.py 以了解有关超参数配置的更多详细信息。 引用：Li Z, Rao Z, Pan L, et al. MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing[J]. arXiv preprint arXiv:2302.04501, 2023.
华为2023年提出的多元时间序列预测模型（MTS-Mixers）
332295505的博客
02-26 8339
华为在这2023年2月9日发布了一篇的多元时间序列预测的文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了Attention结构，不仅实现了效果上的提升，而且还实现了效率上的提高。
华为最新提出的时序预测Mixers，取代Transformer实现效果速度双提升
AI蜗牛车
02-25 2411
华为最近发布了一篇最新的多元时间序列预测文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了attention结构，不仅实现了效果上的提升，也大大简化了模型结构。1Transformer的探讨Transformer在时间序列预测中的作用最近得到比较多的探讨。在Are transformers effective for time series forecasting?（2022）这篇文章中，就...
【论文阅读】2023 MTS-Mixers
mataolc的博客
02-26 2215
论文提出了MTS混合器，它使用两个因子化模块来捕获时间和信道相关性。在多个真实数据集上的实验结果表明，MTS Mixer以更高的效率优于现有的基Transformer的模型。
时间序列-预测：概述【Time Series Forecasting (TSF) 】【时间序列既可以做回归任务，也可以做分类任务】【预测是回归问题，不是分类问题】
u013250861的博客
07-20 1148
由于数据收集、传输和存储的限制，现实世界的MTS数据通常包含缺失值，使得应用现有的MTS预测模型（如线性回归和循环神经网络）变得不可行。在真实世界数据集上的实验结果表明LGnet对缺失值的MTS预测的有效性及其在各种缺失率下的鲁棒性。因此这篇论文通过联合探索局部和全局时间动态来研究具有缺失值的MTS预测的新问题。文中提出了一个新的框架LGnet，它从局部视角的估计中利用记忆网络来探索全局模式。因此，联合建模局部和全局时间动态对于具有缺失值的MTS预测非常有用。..................
MTS-Mixers（含代码）
332295505的博客
04-13 1955
MTS-Mixers 是一种用于多元时间序列预测的新颖且灵活的框架，通过因子化时间和通道混合来捕捉数据中的复杂依赖关系。整个框架包括多种实现，利用注意力机制、随机矩阵操作和因子化 MLP 来有效地处理时间和通道依赖关系，同时降低计算复杂性。本研究在十个基准测试上进行了实验，并在预测任务中取得了令人满意的性能。
TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting
小蚂蚁与大象
08-02 1122
受MLP- mixers在视觉领域的成功启发，本文提出了TSMixer，这是一种纯粹设计的MLP架构，具有经验验证的时间序列特定增强，用于多变量预测和表示学习。MLP Mixer layers， 直观地说，每个Mixer layers(图2b)试图学习三个不同方向上的相关性:(i)不同patch之间，(ii) patch内部隐藏特征之间，以及(iii)不同通道之间。它还优于最新的强大的。时间序列数据通常具有固有的层次结构，要么是明确已知的(例如，层次预测数据集[15])，要么是隐含的特征。
深度学习-时间序列预测模型实战案例MTS-Mixers模型python代码.zip
06-02
深度学习-时间序列预测模型实战案例MTS-Mixers模型python代码.zip
Low conversion-loss fourth subharmonic mixers incorporating CMRC for millimeter-wave applications
06-27
低变频损耗四次谐波混频器 毫米波应用 IEEE收录论文
MIT辐射实验室丛书 V16-MICROWAVE MIXERS
09-12
《雷达系统工程》丛书共28本，由美国麻省理工学院辐射实验室集合各方面的专家，总结二战期间参与雷达研制的经验，在1947年由麦克劳希尔出版社出版。
强化学习——学习笔记
qq_52302919的博客
05-27 1365
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
pytorch学习笔记5
最新发布
drarad的博客
06-02 793
前向钩子（forward hook）在模块的前向传播开始时触发，前向后钩子（forward pre-hook）在前向传播之前触发，反向钩子（backward hook）在反向传播过程中触发。总结来说，钩子提供了一种在 PyTorch 模型的执行过程中插入自定义代码的方法，使得用户可以灵活地调试、监控和扩展模型的功能。作用: 这是一个内部的 C 语言指针，指向张量在底层库（通常是 C++ 实现的 PyTorch 核心）中的具体数据结构。这些钩子可以在张量的梯度计算之前或之后执行自定义的操作。
AI开发初体验：昇腾加持，OrangePi AIpro 开发板
上周的博客
05-27 1301
因为工作需要，以及个人兴趣，本人经常购买开发板进行调试、学习，但具备AI计算的开发板，本人尚未体验过，究其原因，是因为自觉知识储备可能无法胜任AI的开发工作。然而，在体验了OrangePi AIpro 开发板之后，却大大改变了我的看法——AI时代，真的已经来临！OrangePi AIpro 开发板是香橙派联合华为精心打造的高性能 AI 开发板，其内置华为昇腾 AI 处理器，作为国产AI 芯片翘楚，实乃开发板的一大亮点！
AI Agent：人类工作范式的颠覆者还是人机协作新范式？
Baihai_IDP的博客
05-29 658
生成式 AI 只是人工智能发展的开端，未来可能会出现更先进的 AI 智能体系统（AI Agent），我们应当重视 Andrew Ng（译者注：Andrew Ng 是斯坦福大学计算机科学系和电气工程系的客座教授，曾任斯坦福人工智能实验室主任。作者相信人工智能的未来必将呈现出更智能、更自主的 AI Agent 形态。但是 AI Agent 强调的是综合智能，包括但不限于决策制定、环境交互和跨领域的知识应用，这样的智能系统能够适应更复杂的任务需求，并在与人的交流合作中展现出更强的灵活性和实用性。
AI推文神器，绘唐ai，文刻创作出品，sdmj二合一虹猫
2401_84285498的博客
05-28 595
然而，值得注意的是，AI推文神器虽然能够生成高质量的推文内容，但仍然需要人类的审查和修改。因为它虽然能够模仿人类的写作风格，但仍然无法完全理解人类的情感和语境，因此在使用AI推文神器时，人类编辑和审阅的角色仍然十分重要，以确保推文的准确性和符合品牌形象。AI推文神器的工作原理是通过自然语言处理和机器学习算法，将用户输入的关键词、主题或简要描述转化为语义信息，然后结合相关数据和模型，生成相应的推文内容。它通过分析大量的文字和数据，学习并模仿人类的写作风格和推文技巧，从而能够生成独特、有吸引力的推文内容。
生命在于学习——Python人工智能原理（2.1）
易水哲的博客
05-27 1604
机器学习是指从有限的观测数据中学习出具有一般性的规律。
吴恩达深度学习笔记：超 参 数 调 试 、 Batch 正 则 化 和 程 序 框 架（Hyperparameter tuning）3.8-3.9
weixin_43597208的博客
05-28 1011
在这个例子中，我们将建立一个神经网络，其输出层有 4 个，或者说C个输出单元，因此n，即输出层也就是L层的单元数量，等于 4，或者一般而言等于C。，一个𝐶 = 3个输出分类的 Softmax 层能够代表这种类型的决策边界，请注意这是几条线性决策边界，但这使得它能够将数据分到 3个类别中，在这张图表中，我们所做的是选择这张图中显示的训练集，用数据的 3 种输出标签来训练 Softmax 分类器，图中的颜色显示了 Softmax 分类器的输出的阈值，输入的着色是基于三种输出中概率最高的那种。
mts-mixers
09-11
MTS-Mixers 是一种用于多元时间序列预测的模型。它通过因子化时间和通道混合的方法来实现预测。这种模型的实现可以通过安装 Python 版本不低于 3.6，PyTorch 版本不低于 1.5.0，并运行所提供的命令来完成。 研究者在多个数据集上对比了 MTS-Mixers 和其他 Transformer 模型的效果，发现即使不加 Attention 结构，只采用 MTS-Mixers 提出的简单架构，也能取得超过 Transformer 的预测效果。 MTS-Mixers 还采用了一种因子分解的思路来设计第三种结构。由于多元时间序列矩阵存在低秩性，该模型使用基于因子分解的时间维度和通道维度的 Mixup 方法。对于时间维度的冗余性，模型将源时间序列拆分成多个子序列，每段子序列分别进行时间信息的学习，然后再按原来的顺序拼接在一起。对于通道维度的冗余性，模型使用了 SVD 分解。整个计算逻辑主要是利用全连接层实现时间维度和通道维度的 Mixup。 因此，MTS-Mixers 是一种用于多元时间序列预测的模型，通过因子化时间和通道混合的方法来提高预测效果。它可以在 Python 3.6 及以上版本和 PyTorch 1.5.0 及以上版本中使用，并且在多个数据集上展现了比传统 Transformer 模型更好的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值