ACE-NODE: Attentive Co-Evolving Neural Ordinary DifferentialEquations（KDD 2021）

神经常微分方程(NODEs)为构造(连续时间)神经网络提供了一种新的范式。虽然在参数的数量和构造神经网络的灵活性方面显示出一些良好的特性，但它们也有一些众所周知的局限性:i)理论上节点只学习同态映射函数，ii)有时节点在解决积分问题时显示出数值不稳定性。为了处理这个问题，提出了许多改进。然而，据我们所知，将注意力集成到node中已经被忽视了一段时间。为此，我们提出了一种新的注意性双协同进化节点(ACE-NODE)方法:一个主节点用于下游机器学习任务，另一个主节点用于向主节点提供注意。我们的ACE-NODE同时支持成对注意和elementwise注意。在我们的实验中，我们的方法在几乎所有情况下都比现有的基于node和非基于node的基线有显著的优势。

 

 

 

总结：文中的创新点：将ODE与attention机制结合起来