CVPR workshop 2018 Joint detection and online multi-object tracking

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/yuhq3/article/details/80825768

【论文链接】

预备知识

SSD：Single Shot Multibox Detection

RNN：Recurrent Neural Network

perceptron：感知器

摘要

大多数多目标跟踪方法都依赖于目标检测，用以初始化并更新跟踪集。跟踪和检测常常被独立成两个不相关的模块，然而事实上它们可以互惠互利，例如：跟踪中使用的相似性模型可以重用在检测器中计算得到的表观特征，检测器可以使用过去的目标信息以防止漏检。基于这个目的，作者设计了一个联合检测与跟踪的神经网络架构，将SSD作为检测器并将检测结果传到RNN中，并对它们同时进行训练。

主要流程

Step1：首先使用SSD检测器对当前帧t进行目标检测，得到目标检测集包括置信度、坐标、宽高和表观特征。其中，由于还没使用非最大化抑制，该检测集数目由SSD中的prior-boxes决定。

Step2：根据表观特征，度量计算当前检测集与过去△max帧跟踪集之间的相似度矩阵。其中，因为小目标更受距离影响因此设置了自适应尺度因子，由输入是宽高，含有一层隐藏层的感知器得到；相似度矩阵，由输入是检测分数集、位置间欧氏距离，含有两层隐藏层的感知器得到。

Step3：对目标检测集做非最大化抑制，因为本文算法没有对跟踪集进行预测，所以跟踪集全靠检测集进行关联更新，因此为了避免那些具有低检测分数却又属于某轨迹的检测被筛选掉，局部最优操作前重新计算检测分数。其中，新检测分数，由输入是相似度矩阵、旧检测分数集，含有两层隐藏层的感知器得到。

Step4：使用匈牙利匹配对检测集与跟踪集进行数据关联。其中，基于关联的数据，由输入是相似度矩阵、新检测分数集、跟踪分数集，含有两层隐藏的感知器得到。

Step5：计算跟踪分数。其中，跟踪分数。由输入是上一帧跟踪分数、匹配的新检测分数，相似度矩阵，含有两层隐藏层的感知器得到。

Step6：初始化、终止并更新跟踪集中的轨迹。根据跟踪分数高低，保留一定数目的轨迹。

实验结果