Gaussian Temporal Awareness Networks GTAN论文阅读笔记

论文地址：Long_Gaussian_Temporal_Awareness_Networks_for_Action_Localization_CVPR_2019_paper.pdf

概述

基于图像帧的 TAL 的常规方法步骤为：通过 1D 的时序通道卷积来获得更大的感受野，然后在此基础上预测动作类别和时序边界。这种方法获得的 proposal 被分配了相同的感受野，然而不同的动作的时序长度是不同的。为了解决这个问题，2019 年，F. Long 等人提出了 GTAN(Gaussian Temporal Awareness Networks)，对每一个 proposal，通过学习一个高斯核来表达时序信息。
首先网络提供通过 3D-CNN 提取特征，并通过 2 个 1D 卷积加上 1 个 1D 池化操作增加感受
野。随后采用 8 个 1D 的卷积来在不同的时序尺度上生成多个 feature map，类似于目标检测中的FPN。在每个 feature map 上，学习一个高斯核来描述一个动作的时序长度，高重合度的高斯核将会被合并，最后再使用 Gaussian Pooling 整合特征。

网络结构

输入一个视频，通过3D卷积网络提取clip-level的特征。然后经过两个时序卷积和一个max-pooling进一步增加感受野。常规的one-stage时序行为定位的方法是采用1D卷积生成proposal用来识别和边界回归。这种方法获得的action proposal被分配了相同的感受野。然而不同的action的时序长度是不同的。
为了解决这个问题，本文提出了高斯核学习：为每个cell生成一个高斯核。具体来说，我们定义 feature map为 { f i } i = 0 T j − 1 ∈ R T j × D j \left\{f_{i}\right\}_{i=0}^{T^{j}-1} \in \mathbb{R}^{T^{j} \times D^{j}} {fi​}i=0Tj−1​∈RTj×Dj ，其中 $T^j$ 和 $D^j$ 为时序长度和特征维度。对于一个 proposal $P_t^j$ ，中间位置为 $t$ ，通过一个高斯核 $G_t^j$ 来刻画他的时序尺度。通过一个1D 卷积层来学习标准差 ${\sigma }_t^j,G_t^j$ 可定义如下:
$$\begin{array}{c}{W}_t^j[i]=\frac{1}{Z}\exp \left(-\frac{{\left(p_i-{\mu }_t\right)}^2}{2{\sigma }_t^{j^2}}\right)\\ \text{ s.t. }{p}_i=\frac{i}{T^j},{\mu }_t=\frac{t}{T^j}\\ i\in \left\{0,1,\dots ,T^j-1\right\},t\in \left\{0,1,\dots ,T^j-1\right\}\end{array}$$
其中， $Z$ 为标准化常量。然后我们可以通过 ${\sigma }_t^j$ 来获得时序边界:$a_c=(t+0.5)/T^j,a_w=r_d\cdot 2{\sigma }_t^j/T^j$，其中 $a_c$ 和 $a_w$ 为时序边界的中心和宽度。

如上图所示，当两个高斯核的重合度IOU=H/L大于threshold时，需要将其合并，新合并的高斯核如下:
W [ i ] = 1 Z exp ⁡ ( − ( p i − μ ′ ) 2 2 σ ′ 2 )  s.t.  p i = i T , μ ′ = t 1 + t 2 2 ⋅ T , σ ′ = L 2 i ∈ { 0 , 1 , … , T − 1 } \begin{aligned} W[i] &=\frac{1}{Z} \exp \left(-\frac{\left(p_{i}-\mu^{\prime}\right)^{2}}{2 \sigma^{\prime 2}}\right) \\ \text { s.t. } \quad p_{i} &=\frac{i}{T}, \quad \mu^{\prime}=\frac{t_{1}+t_{2}}{2 \cdot T}, \quad \sigma^{\prime}=\frac{L}{2} \\ i & \in\{0,1, \ldots, T-1\} \end{aligned} W[i] s.t. pi​i​=Z1​exp(−2σ′2(pi​−μ′)2​)=Ti​,μ′=2⋅Tt1​+t2​​,σ′=2L​∈{0,1,…,T−1}​

相比常规的Average Pooling（左），Gaussian Pooling考虑到了时序的上下文信息。具体的Gaussian pooling如下，其中 $F_t^j$ 被用于后续的行为识别和时序边界回归。
$$F_t^j=\frac{1}{T^j}\sum _{i=0}^{T^j-1}{W}_t^j[i]\cdot f_i$$

损失函数

GTAN网络一共有三个loss函数，分别对应分类，定位和重合度。
$$\begin{array}{rl}& L_{cls}=-\sum _{n=0}{I}_{n=c}\log \left(y_n^a\right)\\ & L_{loc}=S_{L1}\left({\phi }_c-g_c\right)+S_{L1}\left({\phi }_w-g_w\right)\\ & L_{ov}={\left(y_{ov}-g_{iou}\right)}^2\end{array}$$
最后的loss函数是三个loss的加权和:
$$L=L_{cls}+\beta L_{loc}+\gamma L_{ov}$$

参考：https://zhuanlan.zhihu.com/p/73674552