通过自适应跟踪因子平衡各模态的学习率

背景

  具有更丰富信息内容的多模态网络应始终优于单峰网络。然而，在实验中并非总是如此，这种违反直觉的下降背后的主要原因之一是由异质性导致的模态之间的收敛行为的不一致性。多模态任务的现有努力主要倾向于为所有模态设计一个统一的优化算法，但只能获得一个次优的多模态表示与欠优化的单峰表示的融合。
  本文提出通过动态平衡各种模态的学习率来解耦单峰和多模态网络的学习过程，从而可以获得针对每种模态的特定于模态的优化算法。具体来说，通过引入自适应跟踪因子（ATF）来实时调整每个模态的学习率。此外，提出自适应收敛均衡（ACE）和双层定向优化（BDO）均衡和更新ATF，避免由于过拟合或欠拟合导致的次优单峰表示。

方法

  本文的下游任务是多模态情感分析，包含视觉、音频和文本三个模态，模型的整体结构如图二：

算法

  传统的多模态网络可以被公式化为： x m = F m ( u m ; θ m ) , m ∈ { l , a , v } x^m=F^m(u^m;\theta^m),m\in\{l,a,v\} xm=Fm(um;θm),m∈{l,a,v}$$y=F^f(x^l,x^a,x^v;{\theta }^f)$$  其中，${\theta }^m$是多峰网络参数，${\theta }^f$是单峰网络参数，为了更新这些参数，我们有以下公式：$$\ell =||y-y_g|{|}_1,(\theta {)}_{t+1}=(\theta {)}_t-\alpha \frac{\partial \ell }{\partial (\theta {)}_t}$$  其中，$y_g$是真值，$\alpha$是学习率。由于模态之间的异质性，相同的优化过程不能确保单峰表示被有效地优化。在本文的算法中，为了确保优化的单峰表示可以被学习，解耦了单峰和多峰网络的学习过程，并动态地平衡了各模态之间的学习速率。单峰学习系统被公式化为： x m = F m ( u m ; θ m ) , m ∈ { l , a , v } x^m=F^m(u^m;\theta^m),m\in\{l,a,v\} xm=Fm(um;θm),m∈{l,a,v}$$y^m=C(x^m;{\theta }^c),{\ell }_1^m=||y^m-y_g|{|}_1$$$$({\lambda }_m{)}_{t+1}=Update(({\lambda }_m{)}_t,{\ell }_1^m)$$$${\ell }_2^m={\lambda }_m\cdot {\ell }_1^m,{\lambda }_m\ge 0$$$$({\theta }^m{)}_{t+1}=({\theta }^m{)}_t-\alpha \frac{\partial {\ell }_2^m}{\partial ({\theta }^m{)}_t}=({\theta }^m{)}_t-\alpha \cdot {\lambda }_m\frac{\partial {\ell }^m}{\partial ({\theta }^m{)}_t}$$  其中$C$是以$x_m$作为输入并输出单峰决策的单峰分类器网络，并且${\ell }_1^m$是单峰预测损失。该方法通过使用单峰预测损失作为反馈信息来动态地平衡学习速率，通过避免每个模态的过拟合和欠拟合来同时优化所有单峰网络。注意，每个模态共享相同的分类器来传递收敛信息。$({\lambda }_m{)}_t$表示在$t$次更新之后的自适应跟踪因子。多模态网络的定义和更新与传统算法中的相同。考虑到直接优化学习率超参数$\alpha$是困难的，我们引入了自适应跟踪因子${\lambda }_m$，以调整学习速率。从公式我们可以推断$\alpha$和${\lambda }_m$实际上起着相同的作用。因此，每个模态的学习速率可以通过${\lambda }_m$来调整，并且我们定义$Gm=\alpha \cdot {\lambda }_m$为模态$m$的“广义学习速率”。
  更新${\lambda }_m$的一种简单方法是SGD:$$\begin{gathered} ({\lambda }_m{)}_{t+1}=({\lambda }_m{)}_t-{\alpha }_{atf}\cdot \frac{\partial {\ell }_2^m}{\partial ({\theta }^m{)}_t} \\ =({\lambda }_m{)}_t-{\alpha }_{atf}{\ell }_1^m \end{gathered}$$  然而，这与我们原则相矛盾：为了确保模态之间的同时收敛并学习更优化的单模态表示，应该为损失较低的模态分配较低的学习率，以减少单一模态的过拟合或欠拟合。在上述公式中，较低的损失对应较高的${\lambda }_m$，这违反了上述原则。为了确保模态之间的同步收敛并学习更优化的单峰表示，具有较低损失的模态应该被分配比其对应物更低的学习率，以减少单一模态的过拟合或欠拟合。本文提出了自适应收敛均衡（ACE）和双层方向优化（BDO）。
  ACE重新表述上述优化公式,并拟合同时收敛的原则：$$({\lambda }_m{)}_{t+1}=({\lambda }_m{)}_t+{\alpha }_{atf}\cdot {\ell }_1^m$$  由于${\ell }_1^m$的非负性质,会导致${\lambda }_m$越来越大，因此本文又设计了一个均衡算法，在每个时间步长重新分配λm的模态：$$\begin{gathered} {\lambda }_{total}=\sum _{m\in M}({\lambda }_m{)}_{t+1},M=l,a,v \\ ({\lambda }_m{)}_{t+1}^{\prime }=\frac{({\lambda }_m{)}_{t+1}}{{\lambda }_{total}},m\in l,a,v \end{gathered}$$  其中$({\lambda }_m{)}_{t+1}$是重新分配的${\lambda }_m)$。${\lambda }_m$在时间上不再是单调递增的函数，从而保证了目标函数的有效收敛。
  为了解决目标函数移位问题，本文设计了BDO（双层定向优化）算法对${\lambda }_m$进行定向更新，并保证${\lambda }_m$更新后${\ell }_1^m$能够得到有效优化，具体如算法1：

  BDO是一个两跳算法，这就是为什么称之为“双层”。具体来说，在第一跳中，我们需要得到一个初步的$({\lambda }_m{)}_{t+1}$，并按照常规的更新程序更新模型参数。在第二跳中，我们给更新的模型提供相同的输入$u_m$，并计算更新的单峰预测损失$({\ell }_1^m{)}_{t+1}$。然后我们引入$\Delta {\ell }_1^m$，通过算法1中的公式14得到$({\lambda }_m{)}_{t+1}^{\prime }$，将${\ell }_1^m$的方向和值的变化带入${\lambda }_m$的更新过程，这就是“方向”的含义。

实验

  MOSEI数据集：一个情感分类数据集，由来自1000多个YouTube身份和200多个主题的22777个视频话语组成。情绪得分的强度范围在[-3,3]之间。MOSI数据集：也是一个情感分类数据集，包含2199个视频剪辑。MOSI和MOSEI的结果分别见表1和表2：

  本文的方法在许多指标上产生最佳结果。本文的方法与两个单模态系统进行比较的结果见图1。从表1中，我们可以推断ACE和BDO的表现都明显优于单模态系统，表明我们的方法可以更好地整合来自三种模态的信息。

  单峰损失的比较：在实践中，当${\lambda }_m$被移除时，我们观察到语言、听觉和视觉的损失分别为0.637、0.817和0.831。通过比较，BDO算法得到三种模态的单峰损失分别为0.624、0.816和0.808。ACE的单峰损失分别为0.630、0.816和0.805。与不含${\lambda }_m$的算法相比，我们的算法获得了更低的单峰损失，这表明我们的算法在三种模态上更接近收敛，更优化。