Joint Neural Architecture and Hyperparameter Search for Correlated Time Series Forecasting

Joint Neural Architecture and Hyperparameter Search for Correlated Time Series Forecasting(sigmod2023)

信息物理融合系统中的传感器通常捕获相互关联的过程，从而发出相关的时间序列(CTS)，对其进行预测使重要的应用成为可能。CTS预测成功的关键在于揭示时间序列的时间动态和空间相关性。基于深度学习的解决方案在识别这些方面表现出令人印象深刻的性能。特别是，自动CTS预测，其中最佳深度学习架构的设计是自动化的，使预测精度超过了人工方法所达到的水平。然而，自动化CTS解决方案仍处于起步阶段，只能为预定义的超参数找到最佳架构，并且难以扩展到大规模CTS。为克服这些限制，本文提出SEARCH，一个联合的、可扩展的框架，来自动设计有效的CTS预测模型。将每个候选架构和伴随的超参数编码为联合图表示。引入了一个高效的体系结构超参数比较器(AHC)来对所有体系结构超参数对进行排名，然后进一步评估排名最高的对以选择最终结果。在6个标准数据集上的实验结果表明，该方法不仅可以减少人工操作，而且具有比人工设计和现有自动设计的CTS模型更好的性能。此外，它对大型CTS具有良好的可扩展性。

该论文是VLDB2022年 AutoCTS: Automated Correlated Time Series Forecasting的续篇。论文DNN网络搜索运用在时间序列预测问题上，是个有趣的工作。尽管问题提高自动搜索序列序列结构，但是文中没有考虑如何在满足预测条件的情况下实现DNN剪枝，使得模型在训练和存储过程中消耗更少的资源。

一论文将要解决的问题：1.缺乏对架构和超参数联合搜索的支持。在训练超级网络时，现有的自动CTS预测方法依赖于预定义的超参数，包括架构超参数和训练超参数。解决方案依赖于专家选择适当的超参数设置，这可能会导致选择次优架构，并使框架变为“半自动化”。由于每次采样超参数集时都需要执行现有的自动化架构搜索，因此运行时间将会过多。相反，需要一种有效的、联合的结构和超参数搜索方案

(2) Poor scalability.