卫星图像目标跟踪
- 1.基于相关滤波
- 2018
- 2019
- 2020
- 2021
- 2022
- （6）Object tracking in satellite videos: A spatial-temporal regularized correlation filter tracking method with interacting multiple model
- （7）Object Tracking in Satellite Videos: Correlation Particle Filter Tracking Method With Motion Estimation by Kalman Filter（简称CPKF）
- （8）Single Object Tracking in Satellite Videos: A Correlation Filter-Based Dual-Flow Tracker（简称DF）
- 总结
- 2024
- 2. 基于深度学习
- 2018
- 2019
- 2020
- 2021
- 2022
- （13）MBLT: Learning motion and background for vehicle tracking in satellite videos
- （16）Remote sensing object tracking with deep reinforcement learning under occlusion
- （19）A joint siamese attention-aware network for vehicle object tracking in satellite videos
- Remote Sensing Object Tracking With Deep Reinforcement Learning Under Occlusion（强化学习）
- 2023
- 2024
- 总结
刚开始研究卫星图像目标跟踪，整理一下领域内经典文章，做点笔记，慢慢更新，有不足请指点。
1.基于相关滤波
2018
（1）Object tracking in satellite videos by fusing the kernel correlation filter and the three-frame-difference algorithm
| 期刊 | IEEE Geoscience and Remote Sensing Letters |
|---|---|
| 单位 | 武汉大学 |
| baseline | KCF |
| 引用 | 127 |
| 数据集 | Deimos Imaging 、UrtheCast、长光卫星 |
| 结果 | AUC_P=76%、CPU上fps=9 |
解决问题：目标与背景相似度高，跟踪漂移。
为什么：三帧差分法可以检测三个帧之间的细微像素相关变化，并能够在背景中突出显示小的移动目标。三帧差分法捕捉到目标的大致区域，而KCF跟踪器可以确定目标的更准确位置。
创新点：三帧差分和kcf是现成的，作者的创新在于设计了一个融合方法，将三帧差分和kcf的结果融合，后续也可以考虑用别的更好的检测方法来替代三帧差分。
具体方法：
2019
(2) Can We Track Targets From Space? A Hybrid Kernel Correlation Filter Tracker for Satellite Video
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 武汉大学 |
| baseline | KCF |
| 引用 | 67 |
| 数据集 | Deimos Imaging 、UrtheCast、长光卫星 |
解决问题：目标小
为什么：光流（OF），可以获得运动和帧间信息，从而呈现出卫星视频中的细微和像素级变化
创新点：KCF用的是hog特征，作者引入了光流特征，，然后设置了一个策略，让OF和hog特征根据不同场景自适应的融合
结果
可以看到结果超过了ECO 和siamrpn等跟踪器
(4)Tracking Objects From Satellite Videos: A Velocity Feature Based Correlation Filter
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 武汉大学 |
| baseline | KCF |
| 引用 | 80 |
| 数据集 | Deimos Imaging 、UrtheCast、长光卫星 |
解决问题：目标小，相似物体干扰
为什么：光流（OF），可以获得运动和帧间信息，从而呈现出卫星视频中的细微和像素级变化
创新点：1.只使用光流特征，甚至连HOG特征都没用。2.作者认为目标在帧中移动相对缓慢的现象，其轨迹在卫星视频中是连续且大致线性的。当临时模型漂移发生时，激活惯性机制（IM），放弃目标位置，并用惯性位置代替。(这一步也可以看作是一个卡尔曼滤波的预测结果)
具体:
IM算法结合了基于之前位置和变化的预测，利用惯性来平滑目标位置的预测，并使用残差距离来校正偏差。参数 𝛽和 𝛾，γ 用于调整系统对变化的响应程度，以及对过去信息和新观察的权重分配。
结果 :
可以看到超过了ECO，staple，cot等相关滤波跟踪器
2020
（5）Object tracking insatellite videos by improved correlation filters with motion estimations（有python代码）
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 中科院 |
| baseline | KCF |
| 引用 | 128 |
| 数据集 | 中国长春卫星技术有限公司开发的吉林一号卫星星座。我们使用了11个视频进行实验 |
| 代码地址 | 代码地址（需要魔法） |
解决问题：目标快速移动，完全遮挡
为什么：HOG不具有旋转不变性
创新点：1.引入卡尔曼滤波消除边界效应（就是以卡尔曼的结果作为搜索区域中心，而不是以kcf的结果为中心），这可以解决目标快速移动的问题（论文里这么说，但是我还没有理解为什么这就可以跟上快速移动目标？？？）2.设定一个峰值检测，当目标被遮挡那么就用kalman滤波的结果，可以解决目标被遮挡问题。
但是论文设置了很多假设前提，包括目标匀速运动，目标线性运动，方向不会突变，那么当目标机动性较大时，感觉会跟不上？？？？后续考虑使用别的方法替代kalman滤波来对目标运动建模，之前在多目标跟踪领域的deepsort算法中看到有用diffusion或者GAN来代替卡拉曼进行轨迹预测，这里也可以尝试？？？
结果：
和ECO,进行了比较，看出来在这段视频上效果非常不错，fps也有123
Object Tracking using Spatio-Temporal Networks for Future Prediction Location
具体：
突然发现一篇轨迹预测+目标跟踪的文章2020发表再eccv
2021
（3）Rotation adaptive correlation filter for moving object tracking in satellite videos
| 期刊 | Neurocomputing |
|---|---|
| 单位 | 北京大学 |
| baseline | KCF |
| 引用 | 40 |
| 数据集 | 吉林一号卫星星座的六段视频中可以实现99.84%的精确度和92.96%的成功率，cpu上fps=34 |
解决问题：目标旋转问题
为什么：HOG不具有旋转不变性
创新点：构建了一个旋转池，将目标块，多次旋转，然后分别提取特征找到相应图最大的位置以及对应的旋转角度，通过仿射变化得到其实际的响应位置。
具体方法
只在几段视频中进行测试，并且只和mdnet进行对比，没有和eco，siamrpn等进行对比，性能存疑？
2022
（6）Object tracking in satellite videos: A spatial-temporal regularized correlation filter tracking method with interacting multiple model
| 期刊 | IEEE Geoscience and Remote Sensing Letters |
|---|---|
| 单位 | 中科院 |
| baseline | STRCF |
| 引用 | 16 |
| 数据集 | 吉林一号卫星星座的25个视频 |
解决问题：目标遮挡
为什么：kalman只能预测线性运动，IMM可以应对机动性更强的目标
创新点：使用IMM预测目标位置，当目标被完全遮挡时，使用IMM算法的输出作为跟踪结果。感觉创新性不大，IMM还可以被替换成一些别的更好的轨迹预测方法。
结果：
使用了25个吉林-1卫星视频数据集来验证我们提出的物体跟踪方法的有效性。这些数据集来自SatSOT ，包括17个车辆视频、6个飞机视频和2个船只视频。
（7）Object Tracking in Satellite Videos: Correlation Particle Filter Tracking Method With Motion Estimation by Kalman Filter（简称CPKF）
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 中科院（和文章（6）同作者） |
| baseline | STRCF |
| 引用 | 22 |
| 数据集 | 吉林一号卫星星座的105个视频 |
解决问题：目标遮挡
为什么：粒子滤波可以建模非线性运动
创新点：STRCF+粒子滤波解决遮挡问题
具体：
检测出遮挡就用粒子滤波代替STRCK的结果，使用了3钟特征，不是先融合特征再检测，而是先得到各自的响应图再融合响应图得到最终结果（这个在视觉跟踪里非常老套，不能算创新了），作者上一篇文章是STRCF+imm，没准后面还会出STRCF+其他滤波器？？？
结果：
我们使用了105个吉林-1卫星视频数据集来验证我们提出的物体跟踪方法的有效性。这些数据集来自卫星视频单目标跟踪（SatSOT），包括65个汽车视频、25个火车视频、9个飞机视频和5个船只视频。
（8）Single Object Tracking in Satellite Videos: A Correlation Filter-Based Dual-Flow Tracker（简称DF）
| 期刊 | IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing |
|---|---|
| 单位 | 中南大学 |
| baseline | Staple |
| 引用 | 8 |
解决问题：目标快速移动
创新点：设定了一个SAI机制来判断当前跟踪结果是否可靠，如果不可靠，作者又设计了一个轨迹预测模块来替代跟踪至结果。
具体：
三特征分别形成响应图，然后融合。如果融合响应图的SAI值大于阈值 κ，则通过融合结果确定对象的位置。否则，构建一个双模式预测模型，综合线性和非线性运动模式
关于双模式预测模型其实就是：
在基于历史结果获得对象的轨迹后，使用前一轨迹的曲率来确定预测模式。如果曲率较小，则使用卡尔曼滤波器来通过其线性预测模式获取对象的位置。否则，对象的轨迹趋向于二次非线性模式，因此将通过非线性回归来预测其位置
感觉文中的这个双模式预测有点鸡肋，还不如用IMM来预测
总结
1.相关滤波目前主要的baseline是基于KCF，在其基础上针对卫星图像引入光流特征等运动信息。
2.针对图像旋转的跟踪问题解决方法非常有限。
3.针对遮挡问题大多数采用的是kcf+一个轨迹预测滤波器（当被遮挡时，采用轨迹预测模块替代kcf）。
4.eco，autotrack等比较新的跟踪器还没有人用到卫星图像跟踪上，可以试一下这些跟踪器加上轨迹预测模块或者引入运动信息后的表现。
2024
(9) Motion-Aware Correlation Filter-Based Object Tracking in Satellite Videos
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 西北工业大学 |
| baseline | STRCF |
| ICPR 2022卫星视频检测与跟踪挑战赛的冠军 | |
| 数据集 | 吉林一号卫星平台捕获的47段卫星视频序列组成，每张图像的分辨率为12,000 × 5,000。作为ICPR 2022 SatVideoDT挑战赛的指定数据集 |
| 开源 | matlab代码地址（需要魔法） |
解决问题：相似物体干扰
为什么：卫星视频中物体的运动状态不会在几帧连续帧中发生变化。相反，卫星视频中的目标（尤其是点目标）轨迹通常符合运动平滑的特征
创新点：1.提出了一种新颖的跟踪算法，称为运动感知相关滤波（MACF），用于在卫星视频中跟踪小物体，集成了物体的运动特征与基于特征融合的时空正则化CF（STRCF），以增强整体跟踪性能。
2.引入了一种运动估计方案，提供一个粗略位置，为获取目标搜索区域提供参考，从而抑制SO干扰的相关响应。
3.采用了一种失败检测和校正策略，以验证和优化跟踪结果，旨在有效处理目标遮挡，使跟踪器能够适应卫星视频中的复杂场景。
具体：
使用单指数平滑(SES)模块估计下一帧中目标的位置P1，作为下一帧的搜索区域，注意之前的算法都是以前一帧的定位结果的框附近为搜索区域的。在这个搜索区域进行相关运算又会得到一个响应图最大的位置P2。通过PSR进行检测，满足阈值就以P2为结果，不满足以P1为结果。
结果：
与相关滤波算法都进行了比较，性能可以，但是FPS较差，并且没和siam系列比较。
(10) Object Tracking in Satellite Videos With Distractor–Occlusion-Aware Correlation Particle Filters
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 北理工 |
| baseline | CPKF/STRCF |
| 数据集 | SatSOT 数据集进行实验。SatSOT 数据集包含 105 个吉林一号卫星视频，涵盖了各种场景，包括 65 个车辆视频、25 个火车视频、9 个飞机视频和 5 个船只视频。 |
| 开源 | 地址（需要魔法） |
解决问题：遮挡，相似物体干扰
创新点1.粒子相关滤波后会存在许多响应图，作者设计了一个评分机制，对各个响应图评分，选取评分最高的作为定位结果 2.设计了两个kalman滤波以替代跟踪器的结果分别应对相似物体干扰，遮挡的场景。
具体：
结果：
2. 基于深度学习
2018
2019
（17）PASiam: Predicting attention inspired Siamese network, for space-borne satellite video tracking
| 期刊 | 2019 IEEE International Conference on Multimedia and Expo (ICME) |
|---|---|
| 单位 | 武汉大学 |
| baseline | siamFC |
具体：
也就是给siamfc加一个检测模块(高斯混合模型)，然后使用一个kalman滤波将检测值以及siamfc的结果结合，得到最终输出结果。
2020
（20）Object tracking in satellite videos based on convolutional regression network with appearance and motion features （简称CRAM）
| 期刊 | IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing |
|---|---|
| 单位 | 武汉大学 |
| baseline | siamrpn |
| 引用 | 61 |
创新点：使用卷积回归网络替代跟踪器
具体：
2021
（14）HRSiam: High-resolution Siamese network, towards space-borne satellite video tracking
| 期刊 | IEEE Transactions on Image Processing |
|---|---|
| 单位 | 武汉大学 |
| baseline | siamrpn |
| 数据集 | 从由吉林一号卫星拍摄的九个城市中选取了20个具有代表性的卫星视频目标（车辆），并用矩形框进行了标注，形成了一个数据集 |
具体：
其实就是给siamrpn添加了一个优化模块，这个优化模块的输入时历史帧，通过一个高斯混合模型（GMM），获得包含背景概率的掩模图，然后使用均值漂移法获得目标的位置，与前面siamrpn的结果融合得到最终跟踪结果。
数据集：
我们在六个实际的超高分辨率（VHR）卫星视频上进行了全面的实验。图6显示了这六个卫星视频的第一帧图像和跟踪目标。第二个数据集[38]由UrtheCast和Deimos Imaging提供。它是一段全彩的超高清（UHD）视频，覆盖了加拿大一个港口区域，采集频率为每秒3帧，地面采样距离（GSD）为1米。每帧图像分辨率达到3840 × 2160像素，覆盖面积接近3.8公里 × 2.1公里。其余五个数据集由中国科学院长春光学精密机械与物理研究所的长光卫星技术有限公司采集。
结果：
2022
（13）MBLT: Learning motion and background for vehicle tracking in satellite videos
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 西安电子科技大学 |
| baseline | 基本的相关滤波 |
| 数据集 | 从由吉林一号卫星拍摄的九个城市中选取了20个具有代表性的卫星视频目标（车辆），并用矩形框进行了标注，形成了一个数据集 |
解决问题：目标小，相似物体干扰
===创新=：1.设计了一个全卷积网络（FCN），在t时刻结合跟踪器的结果框预测t+1时刻目标在各个像素的概率图 2.利用道路分割模块，剔除部分区域进一步提升精度。
具体：
实际上也就是将以往的算法的基于卡尔曼滤波的运动预测模块使用一个卷积网络来替代，然后加一个分割模块提升精度。
结果：
为什么：
首先，由于卫星视频中小目标的像素数量有限，这使得跟踪这些目标变得困难。这种限制通常导致目标的丢失，尤其是由于遮挡、光照变化和运动模糊。引入位置提示——即将目标的大致位置作为先验知识纳入模型——可以在一定程度上缓解这个问题。
（16）Remote sensing object tracking with deep reinforcement learning under occlusion
（19）A joint siamese attention-aware network for vehicle object tracking in satellite videos
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 西安电子科技大学 |
| baseline | siamRPN |
具体：
设计了一堆网络，我还没理解其作用，后面再仔细研究研究，这里先摆作者的结论：1.提出了一种新的Siamese注意力跟踪器，通过多个注意力模块的联合优化，实现信息筛选和关键区域聚焦，提高了对弱特征和背景噪声的鲁棒性。
2.设计了一种包含通道和空间模块的自注意力，更多地关注得分较高的通道，对空间域信息进行相应的空间转换，实现核心区域的精确定位。
3.提出交叉注意力，通过交叉通道注意力（CCA）聚合目标模板和搜索图像之间有意义的上下文相互依赖关系，有效挖掘具有时间关联的对象之间的关联性。
结果：
只比较了3种属性，别的属性以及总体性能估计不太行
Remote Sensing Object Tracking With Deep Reinforcement Learning Under Occlusion（强化学习）
具体：
图3 我们提出的 AD-OHNet 的架构。虚线表示状态转换。当完全连接层 fc7 的输出置信度得分低于阈值时，物体被判断为遮挡状态，跟踪器进入遮挡处理阶段。否则，跟踪器根据网络完全连接层 fc6 的动作输出获取物体边界框在当前帧中的移动方向。这个过程会迭代，直到跟踪器检测到视频序列中的所有帧中的物体。
2023
（15）SiamMDM: An adaptive fusion network with dynamic template for real-time satellite video single object tracking
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 中科院 |
| baseline | siamFC |
解决问题：遮挡、光照变化，经典的孪生网络跟踪器仅使用第一帧作为目标模板，导致跟踪结果不佳。
创新点：提出了一种动态模板更新策略，以应对卫星视频中物体外观的可能变化，避免对初始帧的高度依赖
具体：
首先，SiamMDM 的模板分支将第一帧的目标区域作为输入，搜索分支将当前帧的搜索区域作为输入。这两个分支共享相同的特征提取网络。
然后，MRMF 模块对 Siamese 网络的不同层进行互相关操作以获得多个响应图。它自适应地融合响应图以获得融合图
I。为了减少对第一帧的绝对依赖，在网络中添加了 DT 模块。DT 模块每 K 帧决定是否需要更新，并在 MRMF 后对 DT
和搜索区域进行互相关操作以获得融合图 II。网络结合融合图 I 和融合图 II 以获得融合图
III。之后，我们将之前缓存的目标位置输入运动模型 (MM)，根据卫星视频中移动目标的运动特性预测当前帧的目标位置期望值。
最后，SiamMDM自适应地将融合图 III 中的目标位置与 MM 预测的目标位置融合，获得最终的目标位置。本质上依旧是跟踪器+kalman滤波预测，只不过添加了一个模板更新的策略，但是卫星图像下目标外形基本上是不变的，所以这个模板更新策略是否有必要我觉得有待商榷。
结果：
（18）High-resolution satellite video single object tracking based on thicksiam framework（简称thicksiam）
| 期刊 | GIScience & Remote Sensing |
|---|---|
| 单位 | 武汉大学 |
| baseline | siamFC |
具体：
1.设计了一个提取鲁棒语义特征的网络，特征输入到SiamFC中。2.用kalman滤波来矫正跟踪结果 也是非常老套的改进了。
结果：
siamfc+kalman滤波有个好处就是速度快
Target-Aware Transformer for Satellite Video Object Tracking
摘要：
近年来，单目标跟踪（SOT）领域在通用视频中见证了惊人的变革，特别是基于变换器（transformer）的范式。然而，由于卫星视频中的目标尺寸较小且视觉外观较弱，基于变换器的范式在卫星视频目标跟踪中的进展受到了阻碍。为了解决这一问题，提出了一种新颖的基于变换器的方法，其中包括双向传播和融合（BiPF）策略以及目标感知增强（TAE）模块。
具体来说，我们首先采用Bi-PF策略，充分利用多尺度信息生成具有区分性的跟踪目标表示。然后，TAE模块被用来将目标查询解耦为内容感知嵌入和空间感知嵌入，并生成目标原型以帮助获得高质量的内容感知嵌入。值得一提的是，与以往大多数只用几个视频评估其性能的卫星视频跟踪方法不同，我们在包含105个视频的SatSOT数据集上进行了广泛的实验。具体而言，所提出的方法实现了45.6%的成功率和57.6%的精度评分，分别比基线方法提高了5.0%和9.5%。代码将发布在 https://github.com/laybebe/TATrans_SVOT。
具体：
结果：
总结：在stark的基础上主要2项工作1.多尺度特征提取网络2.解码器输入的优化
2024
(11)Satellite Video Object Tracking Based on Location Prompts
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 北理工 |
| baseline | STARK |
| 开源 | 文章说会在这个地址开源，但是目前还没有 |
解决问题：目标小，相似物体干扰
为什么：首先，由于卫星视频中小目标的像素数量有限，这使得跟踪这些目标变得困难。这种限制通常导致目标的丢失，尤其是由于遮挡、光照变化和运动模糊。引入位置提示——即将目标的大致位置作为先验知识纳入模型——可以在一定程度上缓解这个问题。
此外，位置提示可以为模型提供有价值的先验知识，帮助更好地理解目标的空间位置和图像特征。例如，它们可以引导模型更准确地定位搜索区域中的目标，从而减少误判和遗漏。此外，位置提示还可以帮助模型更有效地利用历史信息，扩大目标的搜索范围，从而提高跟踪精度。
创新点：在STARCK的基础上1.设计了一个位置提示模块，模型能够有效缓解跟踪过程中出现的误检和漏检问题。2.引入帧间差分图作为输入
具体：
结果：
（12）Long-term Motion Assisted Remote Sensing Object Tracking
| 期刊 | IEEE Transactions on Geoscience and Remote Sensing |
|---|---|
| 单位 | 安徽大学 |
| baseline | STARK |
| 开源 | 地址（需要魔法） |
前几天开源了，论文还搜不到
Relation Learning Reasoning Meets Tiny Object Tracking in Satellite Videos
摘要：
卫星视频中的微小物体通常不是独立个体；它们之间存在丰富的语义和时间关系。因此，建模和推理这些内在关系的变化对于微小物体跟踪是有益的。本文提出了一种用于卫星视频中微小物体跟踪的关系学习推理方法。所提出方法的核心是关系推理网络，该网络依次由关键上下文模块、全局语义模块和关系推理模块组成。首先，关键上下文模块利用显式或隐式地对目标物体有贡献的全局关键上下文，建模与目标的内在关系。其次，为了推理这种贡献，全局语义模块分析这些关系在同一帧中的互动。第三，关系推理模块根据不同帧之间的语义关系变化来推断目标。以目标为核心的这种关系学习推理方法与卫星微小物体跟踪任务相契合，显著提高了在密集相似（DS）场景中的识别性能和在完全遮挡后的检索能力。此外，所提出的方法在Jilin-1和SkySat卫星视频数据集上显示了改进的定性和定量结果
具体：
结果：
总结
目前看来，基于深度学习的卫星图像目标跟踪，使用的策略大致是一个孪生网络+卡拉曼滤波等轨迹预测模块优化跟踪结果，工作聚集于轨迹预测模块的设计，和相关滤波的思路是一样的。基于注意力机制能有效提取卫星图像下目标的特征，跟踪效果一般会好一点。
扫一扫
476
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
