A Pursuit of Temporal Accuracy in General Activity Detection TAG论文阅读笔记

滑动窗口提出 prorosal 的方法不能处理不同长度的视频动作。因为如果要对长的视频动作进行提名，需要更大的滑动窗口，因此产生的 prorosal 更多，而后续需要的卷积操作越多，时空开销都更大，而且也无法应对长度不一的视频动作。Y. Xiong 等人在 2017 年提出了一个新的框架来准确地确定不同长度视频的动作边界。
该框架包含两部分：生成 proposal 和对 proposal 进行分类。前者产生一系列 proposal，后者确定它是否是一个动作并预测其类别。为了生成一个 proposal，该文章提出了 TAG 网络。

提取proposal的网络框架如图所示。包含了两个部分：generating temporal proposals和classifying proposed candidates。
前者生成一系列的proposal，后者来决定其是否为动作并且预测其类别。
为了生成时间上的proposal，文章提出了TAG的网络结构。主要分为了三步：
Extract snippets：每一个snippet包含了一个视频帧以及光流信息。snippets是按一定时间间隔取得的，每个片段都包含视频帧和光流信息。
Actionness：判断一个snippet是否包含动作，为此文章用TSN (Temporal Segment Network)学习了一个二值的分类网络。
Group：对于输出的片段序列和它们的包含动作概率，该部分将那些具有较高概率的连续片段分组到一起。同时，为防止噪声干扰，该部分设置了一些阈值来删除那些得分较低的片段，一般设置多组阈值来防止遗漏的 proposal。这种时序动作提名方法比较灵活，但由于对是否包含动作的分类可能出错，因此可能会遗漏一些 proposal。

这里设定了两个阈值$\tau$ 和 $\gamma$，前者用来衡量前景和背景，后者作为一个容忍度阈值，也就是说一个连续snippet中出现少量的大于容忍度阈值的背景也会被group起来。
之后再对于这些proposal的检测上也分为了两个部分activity classification和completeness filtering。前者用来去除背景，后者用来表示这个proposal是否完成了该动作。
关于activity classification，用了TSN的方法，proposal和gt的IOU大于0.7的被选为正样本，在选取负样本的时候，并不能选取IOU来判断，因为在一个动作片段中有一个小片段的proposal，它的IOU也很小，如果选为负样本，则在分类的时候会混淆。而选取一个个gt时间重合在5%之内的作为负样本。在测试时，只有不是背景的proposal会保留到之后的completeness filtering。
关于completeness filtering，它找到了一种简单的特征描述，这个特征包括三个部分：（1）一个两层的金字塔结构，第一层对于一个segment（多个snippet组成的）在上面对每个snippet的分数做池化，第二层将segment分为两块，并且在每一块上池化得分。（2）在这个proposal前和后的classification得分的平均。（3）上述snippet的特征组合。然后对每个类别训练一个SVM。
最后得到的检测置信度为：
$$S_{Det}=P_a\times \exp \left(S_c\right)$$