本文提出了一个tracking框架,由tracker和verifier组成,二者并行执行,相互协作,兼顾了tracking过程的速度和准确率。
1.动机
- 在tracking的过程中,目标在大多数情况下变化的较为缓慢平滑,这种情况处理起来很容易。但是会存在一些麻烦的情况(比如目标形变),这些情况可能只是偶尔发生,却会对跟踪造成严重影响。PTAV在这些情况下(而不是每一帧)加入验证模块来提高跟踪准确率。
- 多线程计算在计算机视觉系统中已经非常普遍并且取得很大成功(如PTAM)。
- tracking中速度快的算法和准确率高的算法提供了优质的blocks,PTAV寻求实时和高速的平衡。
2.组成
PTAV由Fast Tracker T 和 Reliable Verifier V 组成。
T 负责满足算法的实时性要求,需要在每一帧定位目标。同时,T以一定的时间间隔向V发送验证请求,并根据V给的反馈继续追踪或调整模型。为了能够在需要的时候快速回溯,T维持了一个邻近帧tracking信息的缓存。最初版本选择的是fDSST算法,本文选取STAPLE算法作为tracker。
V 负责满足算法的准确率要求。收到T的验证请求后,V应该尽可能快的验证追踪结果并反馈给T。为了能使V适应目标外观的变化,V会收集一定数量的tracking结果,并使用K-means对这些结果进行聚类,从而得到一个动态的目标模板池。本文选取Siamese network作为verifier。
3.PTAV
3.1 Framework
3.2 Implementation
Tracking
STAPLE tracker 结合了template score(Hog特征)和histogram score(