MOTS: Multi-Object Tracking and Segmentation

MOTS: Multi-Object Tracking and Segmentation

Paper URL

Code Demo

TL;DR

本文在MaskRCNN的框架下将多跟踪任务扩展到多对象跟踪和分割同时处理的新框架（MOTS），用分割结果以像素级的mask-iou指标辅助多目标跟踪中Association过程。由于缺少MOT和Seg联合的数据，作者自己构建两个基于KITTI 和 MOTChallenge 数据集 建立了两个分割和MOT相结合的数据集，MOTS在自己的数据集上取得了比较好的效果，实时性只有2fps。

Contributions

1. 数据集：目前的多目标追踪数据集只提供bbox标注，作者希望引入mask做像素级别上的追踪来达到性能上的突破，通过CNN+人工校准从bbox生成了mask，主要包括：

• KITTI训练集的21个video，目标对象是车辆和行人，12个train9个val；
• MOT17训练集的其中4个video，目标对象是行人，leaving-one-out方式；
• 共计10870个视频帧，977个不同的个体，65213个像素级mask，数据量较为充分
  2.metrics:由于加入了分割方法，重新定义了评价指标，后面将在实验中详细说明
  3.提出了Track R-CNN 分割和MOT相统一的框架

Motivation

• 当两个目标有遮挡部分重合时，处于前面的bbox可能包含一部分后面的另外一个目标，而每个像素的分割蒙版则精确地定位了对象，不存在歧异，对MOT而言有利于track和检测结果的关联
• 边界框级别的跟踪性能正在达到饱和，因此将检测、跟踪和分割作为联合一起考虑的问题

Methods:

MOTS整体网络结构是以Mask RCNN基础改进过来的，Mask RCNN是在Faster-RCNN的基础上添加了一个mask head,作者则在Mask RCNN的基础上继续添加了一个Association head，用于生成MOT关联匹配的Embedding 特征。

• 为了融合时域上下文信息将当前帧附近窗口内的特征都提取深度特征，然后concat到一块，使用3D Conv融合时域信息。（用了部分未来信息，属于near-online MOT算法），在时域信息融合方面作者也尝试使用LSTM的方式，发现效果不好。

• 融合时域信息的特征经过RPN网络输出后proposal ，根据proposal 分别回归Bbox, 分类score ,产生分割mask以及用于数据关联的Embedding vector

• Association head：输入proposal，使用全连接转换为128维度的Embedding vector,同时结合分割跟踪轨迹中最新帧的mask与分割结果的mask的iou作为评相似性的评估指标，最后使用的匈牙利算法根据embeding的相似度进行关联。其中Association Embedding vector的训练借鉴了ReID模型中常用的 batch hard triplet loss

Experiments

为了评估MOTS中分割任务的需要，作者重新定义了评估指标：MOT精度MOTA和MOT精度等

由于在本文之前没有其他框架将MOT和Seg联合起来做，因此作者对比实验主要集中本文提出的Tracker-RCNN与分割网络使用mask-iou关联后的结果对比，其中maskprop表示使用光流传播分割框方法，+MG表示在后处理另外加入Mask-RCNN的分割结果，

不同关联方式比较：

通过不同关联方式得出的结论是关联过程中Associtation embedding vector 作用明显，单独使用Bbox IOU和maskIOU进行关联，效果都不明显。

作者实验结论：

• 使用3D卷积层和association head有助于区分视频中的目标
• 单独使用bbox做跟踪不是最好的方法，单独使用分割结果也不足以解决多目标跟踪问题，需要两者的结合
• 此框架仅仅提供了一个baseline，与GT还有很大的gap,还有很大的提升空间
• 作者提供的实验数据集是很有用的

Thoughts

• 使用分割方法辅助MOT过程对于解决部分遮挡时关联提供了一个比bbox更加准确的指标，对association有帮助，由于数据集有限，测试集合只要四个视频序列，泛化性值得考虑
• 这是一个新的框架，且提供了新的数据集，和新的数据集 制作方式，继续展开预研会比较方便