论文地址:https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123530528.pdf
Abstract
作者认为现有的方法通过将这些阶段建模为单独的分类任务,忽略了它们之间潜在的时间约束。当视频输入的某些帧缺乏足够的判别信息时,这可能会导致不正确或不一致的预测。为了缓解这一问题,本文引入了两个正则化术语来相互规范学习过程:提出了相内一致性(IntraC)正则化来在每个阶段内验证预测;并提出了相间一致性(InterC)正则化以保持这些阶段之间的一致性。
Introduction
作者认为,之前的自底向上的时序动作检测任务,都是在每一帧上面单独预测他start end 和contine的概率,没有联系帧与帧之间的关系。忽视这种时间关系可能会导致错误和不一致的预测。作者认为独立的分类任务有以下两个缺点。首先,对于这三个阶段中的任何一个,概率预计在相邻的时间位置之间有相对平滑的预测。忽视时间关系可能会导致不一致的预测。其次,开始、继续和结束阶段总是作为一个有序的三重态出现。忽略这三个阶段的排序关系可能会导致相互矛盾的预测。
本文中,作者提出两个正则化项解决了这个问题。为了加强预测之间的时间关系,提出了Intra-phase Consistency(IntraC)正则化,目的是最小化每个phase的positive或negative区域内的差异,并最大化positive和negative区域之间的差异。为了满足这三个阶段的排序约束,引入了Inter-phase Consistency(InterC)正则化,它通过在 continuing-starting和continuing-ending之间的操作来加强这三个阶段的概率之间的一致性。
Method
上图就是该方法的示意图。ProbNet模块预测了三个概率阶段。在每个Intra-phase Consistency损失,首先分离正负区域,然后减少正负区域的差异,缩小正负区域的差异,扩大正负区域的差异。Inter-phase Consistency损失建立在继续开始阶段和继续结束阶段之间。
Adding Mutual Regularization:
continuing阶段的概率IntraC用等式表示如下:
同理可得start和end阶段概率,如下:
Inter-phase Consistency:
作者在三个概率阶段之间建立了阶段间的一致性损失,继续阶段pC,开始阶段pS,和结束阶段pE。为了使这些概率阶段之间具有一致性,我们提出了两个假设:(i)如果持续阶段突然上升,开始阶段应该有较高的概率,反之亦然;(ii)如果持续阶段突然下降,结束阶段应该有较高的概率,反之亦然。根据这些假设,我们使用pC的第一个差异项来捕获持续概率阶段的突然上升和下降:
InterC 用以下公式表示:
预测continuing概率的损失如下:
为了使动作边界更加精确,作者还引入了一个回归任务来预测开始和结束边界偏移。受一些对象检测研究的启发,我们将Smooth L1 Loss 应用于回归任务:
总损失函数如下: