Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

最新推荐文章于 2024-11-15 20:05:10 发布
最新推荐文章于 2024-11-15 20:05:10 发布
阅读量433 收藏
点赞数
分类专栏： 时间序列数据表征学习 时间序列/高维数据相似性查询 时间序列预测 文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zj_18706809267/article/details/134336920
版权
本文探讨了频域多层感知器（MLP）在时间序列预测中的应用，提出了一种名为FreTS的新方法。FreTS通过傅里叶变换将时域信号转换为频域，利用MLP在频域学习全局依赖和关键频率成分，以提高预测性能。实验结果显示，这种方法在多个真实世界基准上优于现有先进技术。
摘要由CSDN通过智能技术生成

 

Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

时间序列预测在不同的行业，包括金融、交通、能源和医疗保健领域发挥着关键作用。在现有文献设计了许多基于rnn、gnn或transformer的复杂架构的基础上，提出了另一种基于多层感知器(mlp)的方法，该方法结构简单、复杂度低、性能优越。然而，大多数基于mlp的预测方法都存在逐点映射和信息瓶颈问题，这在很大程度上影响了预测效果。为了克服这一问题，我们探索了在频域应用mlp进行时间序列预测的新方向。我们研究了频域mlp的学习模式，并发现它们的两个固有特征有利于预测，(i)全局视图:频谱使mlp拥有信号的完整视图，更容易学习全局依赖关系，以及(ii)能量压缩:频域mlp集中在频率成分的较小关键部分，信号能量紧凑。然后，我们提出了FreTS，这是一种基于频域mlp的简单而有效的结构，用于时间序列预测。FreTS主要包括两个阶段:(i)域转换，将时域信号转换为频域复数信号;(ii)频率学习，执行我们重新设计的mlp来学习频率分量的实部和虚部。上述阶段在系列间和系列内尺度上运行，进一步有助于渠道和时间依赖学习。在13个现实世界基准(包括7个短期预测基准和6个长期预

最低0.47元/天 解锁文章
西西弗的小蚂蚁
关注
专栏目录
Frequency-domain MLPs
Li_RuiQi的博客
01-11 1280
一般来说，模型越复杂，其预测结果的鲁棒性对可用数据集的大小要求就越高。MLP模型，结构简单，参数量少。可以在可用数据量较少的情况下，捕捉序列的趋势。例如，N-BEATS, LightTS, DLinear基于mlp的预测方法，现有问题：1.点式映射：模型学习时过度关注细节，缺乏整体理解。2.信息瓶颈：瓶颈设置过紧，导致模型失去对有用信息的捕捉，导致欠拟合；太松，导致过度关注冗余信息，导致过拟合。mlp学习模型的特点：全局视图：频域信息能够使mlp拥有信号的完整视图，更容易学习到全局依赖关系；
Frequency-domain MLPs are More EffectiveLearners in Time Series Forecasting
qq_59482564的博客
12-25 2946
时间序列预测在金融、交通、能源、医疗等不同行业中发挥着关键作用。虽然现有文献设计了许多基于 RNN、GNN 或 Transformer 的复杂架构（注意力机制的计算太占用资源，速度慢），但提出了另一种基于多层感知器（MLP）的方法，其结构简单、复杂度低且性能优越。然而，大多数基于MLP的预测方法都存在点式映射和信息瓶颈，这在很大程度上阻碍了预测性能。为了克服这个问题，我们探索了在频域中应用 MLP 进行时间序列预测的新方向。点式映射（Pointwise Mapping）
FreTS: Frequency-domain MLPs are More Effective Learners in Time Series Forecasting 论文详解
weixin_45510412的博客
12-01 3215
Frequency-domain MLPs are More Effective Learners in Time Series Forecasting 论文详解【超详细】
NeurIPS 2023 预讲会第四场：分布外学习范式、特征蒸馏等14个报告，全天干货 |11月3日直播预告...
AITIME_HY的博客
11-02 910
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！哔哩哔哩直播通道扫码关注AI TIME哔哩哔哩官方账号预约直播11月3日 10:00-12:20讲者简介郑皓天：西安电子科技大学本科生，香港浸会大学TMLR group科研助理，主要研究方向包括：可信赖机器学习、弱监督学习。个人主页为：https://hao-tian-zheng.github.io/报告题目ATOL：基于数据生成型辅助任务...
NeurIPS 2023 时间序列预测论文总结
suzukiwudi的博客
12-14 1686
时间序列预测在金融、交通、能源、医疗等不同行业中发挥着关键作用。虽然现有文献设计了许多基于 RNN、GNN 或 Transformer 的复杂架构，但提出了另一种基于多层感知器（MLP）的方法，其结构简单、复杂度低且性能优越。然而，大多数基于MLP的预测方法都存在逐点映射和信息瓶颈，这在很大程度上阻碍了预测性能。为了克服这个问题，本文探索了在频域中应用 MLP 进行时间序列预测的新方向。
Deep Learning for Time Series Forecasting - by Jason Brownlee
06-26
Deep Learning for Time Series Forecasting Predict the Future with MLPs, CNNs and LSTMs in Python Jason Brownlee 5 25 step-by-step lessons, 575 pages. 深度学习方法为时间系列预测提供了许多希望，例如...
Deep Learning for Time Series Forecasting
10-05
《深度学习用于时间序列预测》是一本探讨如何利用Python中的多层感知机（MLPs）、卷积神经网络（CNNs）和长短时记忆网络（LSTMs）进行未来预测的专著。时间序列分析在诸多领域，如金融、气象、能源、物联网等，都...
时间序列预测：Forecasting the Time Series of Apple Inc.'s Stock
08-05
在金融领域，时间序列预测被广泛应用于股票价格预测，其中，对于科技巨头苹果公司（Apple Inc.）的股票价格进行时间序列分析，可以帮助投资者、分析师以及其他利益相关者了解市场动态，预测股价走势，从而做出更为...
Time Series Forecasting (三) : hierachical and grouped time series
tangwing的专栏
12-20 366
这一篇的主题主要是如何处理一组有层级关系的序列预测。例如我们进行未来30天的游客数量预测，需要涉及多个颗粒度：城市，省和国家。当然我们可以对每个维度单独建模进行预测，但是很明显这多个序列是有层级关系的：城市维度的预测应该可以聚合到省份而进一步向上聚合到国家。各序列单独预测并不能保证这种一致性。那么就涉及到对这一方向的进一步研究。 笔者偶然发现Rob J Hyndman的书(见上图)中是有这样一章的Chapter 10Forecasting hierarchical or groupedtime s...
深度学习之循环神经网络(RNN)
weixin_43775295的博客
11-12 567
其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。​ 由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
ks8 本地化部署 F5-TTS
陈锐的技术笔记
11-13 746
此外，F5-TTS 还创新性地引入了推理时的 Sway Sampling 策略，这一策略可以在推理阶段优先处理早期的流步骤，从而提高生成语音与输入文本的对齐效果。在 LibriSpeech-PC 数据集上，该模型的字错误率（WER）达到了2.42，并且在推理时的实时因子(RTF)为0.15，显著优于之前的扩散模型 E2TTS，后者在处理速度和鲁棒性上存在短板。传统的 TTS 模型往往需要进行复杂的持续时间建模、音素对齐和专门的文本编码，这些都增加了合成过程的复杂性。继续TSS的启动，进入pod 输入命令。
文献阅读 | Nature Communications：使用自适应图注意自动编码器从空间解析的转录组学中解读空间域
最新发布
weixin_45851732的博客
11-15 719
文献介绍 文献题目： 使用自适应图注意自动编码器从空间解析的转录组学中解读空间域 研究团队： 张世华（中国科学院数学与系统科学研究院） 发表时间： 2022-04-01 发表期刊： Nature Communications 影响因子： 17.6（2022年） DOI： 10.1038/s41467-022-29439-6 摘要 空间分辨转录组学的最新进展使得能够全面测量基因表达模式，同时保留组织微环境的空间背景。破译组织中 spots 的空间背景需要仔细使用它们的空间信息。为此，作者开发了一个图注
Ubuntu 20.04配置ollama并下载安装调用本地大语言模型
电子爱好者磊雷
11-11 1094
Ollama 是一种新的本地语言模型管理与运行平台，旨在帮助用户在本地环境中运行和管理大型语言模型（LLMs），例如 LLaMA、GPT 等。与传统基于云的解决方案不同，Ollama 专注于在用户本地系统上运行这些模型，以提高数据隐私性和响应速度。
人工智能是这样理解“情绪”的
JellyAI的博客
11-12 1126
在前面的内容中，我们经常提到“特征”，那么如何表示特征呢？举个例子，在日常生活中，我们描述一个快递包装盒时可能会提到它的高度、宽度和深度（这三个值就是盒子的特征，当然也可以用颜色、重量、材料等来描述）。当我们仅用高度、宽度和深度三个数据来描述盒子的特征时，我们就说这个盒子的特征是三维的。如果再加上颜色、重量和材料等特征，那么这个特征空间就是六维的了。
pytorch基础-数据集导入
gudao07的博客
11-14 868
pytorch的数据导入，包括dataset,tensorboard,transform,dataloder等
1-Equity-Transformer：求解NP-Hard Min-Max路由问题的顺序生成算法（AAAI-24)(完)（code）
太极生两鱼
11-12 162
最小最大路由问题旨在通过智能体合作完成任务来最小化多个智能体中最长行程的长度。这些问题包括对现实世界有重大影响的应用场景，但已知属于NP-hard问题。现有方法在大规模问题上面临挑战，尤其是在需要协调大量智能体以覆盖数千个城市的情况下。本文提出了Equity-Transformer来解决大规模最小最大路由问题。首先，我们采用顺序规划方法来处理最小最大路由问题，使我们能够利用强大的序列生成器（例如，Transformer）。其次，我们提出了关键的归纳偏差，以确保智能体之间的公平工作量分配。
大模型微调的核心技术与前沿发展
hello.reader
11-12 1229
大模型（Large Model）指的是参数量极大的深度学习模型，通常具备更强的特征提取能力和泛化能力。随着计算资源和数据量的提升，研究者通过增加模型参数和层数，不断提升模型在多种任务上的表现。大模型的诞生和快速发展源于对人工智能通用能力的追求，典型的例子包括自然语言处理中的GPT-3、BERT和计算机视觉中的Vision Transformer（ViT）等。大模型可以通过自监督学习、大规模预训练等技术，在无监督数据上学习丰富的特征表示，为下游任务提供高质量的初始参数，减少对标注数据的依赖。
深度学习入门指南：从基础概念到实战应用
liaozp88的博客
11-12 514
深度学习是人工智能和机器学习的一个分支，通过模仿人类大脑的神经网络来进行数据分析和预测。它在图像识别、自然语言处理、自动驾驶等领域有着广泛应用。
Pytorch无法使用GPU的问题的原因
m0_73640344的博客
11-11 340
从你提供的信息来看，尽管你的环境中安装了与CUDA相关的库（如libcublas等），但PyTorch还是无法使用GPU。False。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值