RECONSTRUCTING NONLINEAR DYNAMICAL SYSTEMS FROMMULTI-MODAL TIME SERIES（ICML2022）

在物理学、生物学或医学中，经验观察到的时间序列通常是由一些潜在的动力系统(DS)产生的，这是科学感兴趣的目标。人们对收获机器学习方法以数据驱动、无监督的方式重建这个潜在的DS越来越感兴趣。在许多科学领域中，从多种数据模式中同时采样时间序列观测是很常见的，例如，在典型的神经科学实验中，电生理和行为时间序列。然而，目前用于重建决策系统的机器学习工具通常只关注一种数据模态。本文提出了一个多模态数据集成的通用框架，用于非线性DS重构和跨模态关系分析。该框架是基于动态可解释的递归神经网络作为非线性决策系统的一般逼近器，耦合从一类广义线性模型的模式特定解码器模型集。提出并比较了期望最大化和变分推理两种模型训练算法。我们在非线性DS基准测试中展示了我们的算法可以通过利用其他通道有效地补偿一个数据通道中过于嘈杂或缺失的信息，并在实验神经科学数据上演示了算法如何学习将不同的数据域连接到底层动态

背景：

近年来，将多模态数据集成到常用预测模型中得到了广泛的研究 

 Model framework for DS reconstruction from multi-modal data