用运动、几何与语义自适应的 Segment Anything 模型应对复杂非线性视觉目标跟踪 Segment Anything with Motion, Geometry, and Semantic Adaptation for Complex Nonlinear Visual Object Tracking
在 SAM 2 上叠加高阶马尔可夫运动预测、错误检测恢复与目标感知记忆库，专门解决非线性运动跟踪
前置知识
视觉目标跟踪（VOT）
在视频第一帧给定目标的初始状态（通常是边界框）后，在后续每一帧中持续定位同一个目标。它要求跨帧的时间关联（哪一帧的物体对应到下一帧）、应对遮挡/形变/相似干扰物的鲁棒性，以及对外观变化的语义一致性。常见输出形式是边界框或更精细的分割掩码。
SAMOSA 的全部工作都围绕 VOT 展开，理解跟踪的三大要素（运动、几何、语义）是把握其设计动机的前提。
SAM 2 与 VOS
Segment Anything Model 2 是 Meta 提出的视频分割基础模型，用 Hiera 编码器提取每帧特征，再通过 memory attention 融合历史记忆帧的特征，由双向 transformer 解码出候选掩码，并用两个 MLP 头预测 IoU 分数 $S_{\mathrm{IoU}}$ 和 object 分数 $S_{\mathrm{obj}}$。它在大规模预训练下具备强泛化的视频理解能力，但本身不显式建模运动动力学。
SAMOSA 是把 SAM 2 当作冻结的视觉骨干，在其 mask 选择和记忆管理环节外挂轻量模块，因此必须先理解 SAM 2 的流水线以及它默认只用 $S_{\mathrm{IoU}}$ 选掩码这一关键弱点。
卡尔曼滤波与匀速运动假设
卡尔曼滤波（KF）是一种经典线性状态估计器，假设目标状态 $s=[x,y,w,h,\dot{x},\dot{y},\dot{w},\dot{h}]^T$（中心坐标、宽高及其一阶导数）通过线性转移矩阵演化，即 $\hat{s}_{t+1}=F\hat{s}_t$，对应匀速直线运动。SAMURAI 等方法就把它插进 SAM 2 来做运动先验。但当目标加速、急转、相机抖动或短暂消失时，匀速假设失效，KF 预测会严重偏离。
本文的核心动机正是『非线性运动让 KF 这种线性模型失效』，其 Motion Predictor 用高阶马尔可夫 + LSTM 替代 KF 来刻画非线性动力学，理解 KF 的局限才能理解创新点。
马尔可夫性与高阶马尔可夫模型
一阶马尔可夫假设下一时刻状态只依赖当前时刻（如 KF），k 阶马尔可夫则允许依赖过去 k 个时刻，即 $\hat{s}_{t+1}=f_\theta(e s_t, e s_{t-1},\dots,e s_{t-k+1})$。用有限长度的历史窗口做条件，既比 KF 有更强建模能力，又不必访问整个序列，兼顾了建模容量与计算效率。SAMOSA 选 k=5。
Motion Predictor 的『高阶马尔可夫』正是相对 SAMURAI 一阶 KF 的关键升级，也是它能在非线性场景下超越 KF/EKF 的理论基础。
记忆库与 mask 选择机制
SAM 2 在推理时维护一个记忆库（FIFO 队列），存储历史帧的特征与掩码，用于 memory attention 生成当前帧的候选掩码。掩码选择（mask selection）指从解码出的 N=3 个候选中挑出最终输出——SAM 2 默认只按 $S_{\mathrm{IoU}}$ 选。低质量掩码若被存进记忆库，会通过注意力污染后续帧，造成误差累积。
SAMOSA 的两个核心模块——把 mask 选择准则从单一 $S_{\mathrm{IoU}}$ 扩展为结合运动/几何分数，以及用 TAMB 改写 FIFO 记忆策略——都直接作用在这个机制上。
研究动机
传统 VOT 方法（Siamese 系列、transformer 系列）依赖任务相关的有监督训练，跨域泛化能力有限，在未见目标和复杂场景下表现骤降。近期的 SAM 2 虽然凭借大规模预训练展现出强泛化，但直接用于 VOT 并不理想：它不显式建模目标运动动力学，也不在帧间强制几何与语义一致性，仅按 $S_{\mathrm{IoU}}$ 选掩码。更关键的是，真实跟踪（尤其是无人机跟踪）充满非线性运动——加速、急转弯、相机抖动、目标短暂消失、形变——这类动态无法被 SAMURAI 等方法采用的匀速 KF 很好近似。Figure 1 直观显示，在 Anti-UAV300 的非线性子集上，SAM 2.1 与已有 SAM 2-based 方法的差距很小甚至饱和，而本文能拿到 +1.3（对 SAMITE）到 +11.0（对 SAM 2.1）的显著提升，说明非线性运动是当前方法的真痛点。此外 SAM2Long 等方法靠堆算力换取性能，带来 +357.2 ms 的延迟，实用性差。
本文的目标是本文希望在不重训 SAM 2 骨干、不显著增加延迟的前提下，构建一个能稳健处理复杂非线性运动的跟踪框架 SAMOSA。具体目标是：(1) 用一个可学习、轻量、仅依赖边界框轨迹训练的运动模型替代线性 KF，刻画非线性动力学；(2) 显式检测跟踪失败并触发恢复，抑制误差累积；(3) 设计目标感知的记忆策略，过滤低质量帧、保留高代表性记忆，从源头避免错误传播。整体追求『小代价、大增益』——以 +10.7 ms 的延迟换来在通用与无人机跟踪基准上的全面 SOTA。
与已有工作不同的是，已有 SAM 2-based 工作往往只零散利用三类线索中的一两种：SAMURAI 用线性 KF 做运动先验但恒速假设遇非线性就崩；HiM2SAM 引入点追踪器却抓不住整体运动趋势；SAMITE 用语义锚点选记忆但不用于显式错误检测；SAMITE/SAM2.1++/SeC 都聚焦记忆管理或长时窗口，没有把『运动 + 几何 + 语义』统一进同一个框架。本文的独特切入是把这三类互补线索系统化：运动指导 mask 选择与记忆过滤，几何作为结构约束增强稳定性，语义用于检测目标漂移并从失败中恢复，三者分别由 MP、几何分数、EDRM 承担，且只有 MP 需要训练，实现了『显式跟踪导向建模』与 SAM 2『隐式视频理解先验』之间的桥接。
核心方法
整体思路是：保留 SAM 2 的强视觉骨干不变，在它的两个薄弱环节——mask 选择和记忆管理——外挂三个轻量模块。直觉上，稳健跟踪需要三种线索协同：运动描述目标随时间的位移（提供预测动力学），几何刻画形状/面积/边界等底层结构（区分目标与干扰），语义编码高层外观与上下文（跨视角与光照保持身份一致）。SAMOSA 让 Motion Predictor（MP）在稳定条件下用运动+几何分数主导 mask 选择；Error Detection-Recovery Module（EDRM）作为兜底，在不确定时用几何+语义线索检测并修正错误；Target-Aware Memory Bank（TAMB）则用运动线索对记忆帧做过滤与 top-k 选择，保证喂给 memory attention 的历史先验是高质量且时间一致的。三者构成『主路径 + 安全阀 + 高质量燃料』的协同架构。
最核心的创新是用一个基于高阶马尔可夫（k=5）的可学习 Motion Predictor 取代线性 KF。MP 用 4 层 LSTM（约 119.3K 参数）从过去 5 帧的边界框状态预测下一帧状态 $\hat{s}_{t+1}=f_\theta(e s_t,\dots,e s_{t-k+1})$，且只用标注的边界框轨迹（LaSOT）训练、完全不依赖视频帧，训练后即插即用地接入 SAM 2 推理。这与已有方法的本质区别在于：(1) 相比 SAMURAI 的 KF，能刻画非线性动力学；(2) 相比 HiM2SAM 的点追踪器，更稳定地抓住整体运动趋势；(3) 相比直接微调 SAM 2，不破坏其预训练先验且零视频数据成本。MP 预测的 $B_{MP}$ 进一步衍生出几何分数 $S_g$（长宽比与面积的相似度）和运动分数 $S_m$（IoU），把 mask 选择从单一 $\alpha S_{\mathrm{IoU}}$ 扩展为 $\arg\max_{M^{(n)}}\,\alpha S_{\mathrm{IoU}}^{(n)}+S_g^{(n)}+\gamma S_m^{(n)}$。
方法步骤详情
完整流程如下。第 1 步，MP 离线训练：在 LaSOT 边界框轨迹上，用回归损失 $\mathcal{L}_{\mathrm{reg}}=\lambda_1\mathcal{L}_{\mathrm{MSE}}+\lambda_2\mathcal{L}_{\mathrm{CIoU}}$ 训练 LSTM，CIoU 同时约束重叠、中心距离和长宽比，使预测框对齐真值。第 2 步，在线推理时维护一个长度为 k 的 FIFO 状态历史库，每帧 SAM 2 解码出 N=3 个候选掩码 $\{M^{(n)}\}$，MP 同时预测参考框 $B_{MP}$。第 3 步，mask 选择：对每个候选框 $B^{(n)}$ 计算 $S_g^{(n)}=\beta_{AR}S_{AR}^{(n)}+\beta_{Area}S_{Area}^{(n)}$（其中 $S_{AR}^{(n)}=\mathrm{Sim}(AR(B_{MP}),AR(B^{(n)}))$，$\mathrm{Sim}(x,y)=\min(x,y)/\max(x,y)$）和 $S_m^{(n)}=\mathrm{IoU}(B_{MP},B^{(n)})$，按上述加权组合选出最优掩码。第 4 步，EDRM 检错：维护一个 Target Prototype $TP^{(t)}=(B_{TP}^{(t)},\tilde{F}_{TP}^{(t)})$，其中 $\tilde{F}^{(i)}$ 由掩码门控平均池化图像特征得到 $\tilde{F}^{(i)}=\frac{\sum_{x,y}F^{(i)}(x,y)\cdot\mathbb{I}[M^{(i)}(x,y)=1]}{\sum_{x,y}\mathbb{I}[M^{(i)}(x,y)=1]}$，再对最近 T 帧平均；将当前帧的 $B^{(t)}$、$\tilde{F}^{(t)}$ 与 TP 比较得到长宽比、面积、余弦相似度三个分数，任一低于阈值 $\sigma_{ar},\sigma_a,\sigma_s$ 即判定错误，冻结 TP 进入恢复模式，用全部 3 个候选寻找三者都超过 $\tau_{ar},\tau_a,\tau_s$ 的高置信候选覆盖 MP 的选择，再恢复 TP 更新。第 5 步，TAMB 记忆管理：保留最近帧 $M_r$，从历史中按阈值 $\mu_{IoU},\mu_{obj},\mu_m$ 反向遍历收集至多 M=30 候选帧，按 $S_{TAMB}^{(i)}=\delta S_{IoU}^{(i)}+\epsilon\,\mathrm{sigmoid}(S_{obj}^{(i)})+\zeta S_m^{(i)}$ 打分取 top-$N_m$（$N_m=6$），再加上 prompted 帧送入 memory attention。
技术新颖性
技术新颖性体现在三点。第一，把运动建模从『一阶匀速 KF』升级为『高阶马尔可夫 LSTM』，且训练只用边界框轨迹、与视频解耦，这是与所有已有 SAM 2-based 方法最根本的区别——MP 因此具备零样本跨数据集泛化能力（在 TrackingNet 训练也能泛化到 LaSOText/Anti-UAV）。第二，EDRM 把语义线索首次用于显式的『错误检测-恢复』闭环：维护可冻结的 Target Prototype，用几何+语义一致性主动发现漂移并从候选掩码中自我纠错，而 SAMITE 仅用语义选记忆。第三，TAMB 同时整合掩码质量、目标可见性（$S_{obj}$）与运动一致性三类信号做记忆筛选，比 FIFO 和纯位置/特征锚点更鲁棒。整体上三个模块各司其职又互补（Table III 消融证实），且只有 MP 需要训练、SAM 2.1 全程冻结，是工程上非常干净的即插即用增强。
实验结果
Table I 显示在通用 VOT 基准上 SAMOSA 全面领先：LaSOText AUC 62.97%，超越次优 SAMITE 的 62.22% 与基线 SAM 2.1 的 58.19%（绝对 +4.78），P 达 74.20、Pnorm 达 75.96；OTB AUC 71.94；TrackingNet Succ 85.55、Pnorm 91.43。最关键的是延迟仅 +10.7 ms（相对 SAM 2.1），而 SAM2Long 虽 OTB/TrackingNet 接近，却要付出 +357.2 ms（约 32×）的代价，SAM2.1++ 也要 +210.3 ms，凸显本文的计算效率。Table II 的反无人机基准上优势更明显：Anti-UAV300 RGB Acc 71.39/P 94.87/AUC 64.26（对 SAM 2.1 的 AUC +4.21，对 SAMITE +1.30），TIR 与 Anti-UAV410、DUT Anti-UAV 全面 SOTA；仅 Anti-UAV600 的 P 略低于 SAM2.1++，但后者要 19× 延迟。Table III 模块消融表明三模块互补：单 TAMB 在 LaSOText 提升最大（62.21 vs 58.19），单 MP 在 Anti-UAV 提升最大（64.22），三者结合最佳。Table IX 最具说服力——在非线性子集上，SAMOSA 在 Anti-UAV300 RGB 取得 AUC 65.5，对 SAMITE 的 63.3 提升 +2.2，对 SAM 2.1 的 58.9 提升 +6.6；而在线性子集提升相对温和，正好印证方法针对非线性运动的定位。Table VI 的 MP 变体实验显示 LSTM(k=5) 优于 KF/EKF/MLP，且 context=5 是性能-延迟最佳折中，CIoU 损失优于 IoU/DIoU。Table VII 还表明方法可迁移到 SAM 3 骨干，把 AUC 从 62.1 提到 65.0。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LaSOText 通用跟踪 | AUC | 62.97% | SAMITE 62.22% / SAM 2.1 58.19% | 比次优 SAM 2-based +0.75；比 SAM 2.1 +4.78 |
| LaSOText 通用跟踪 | Pnorm（归一化精度） | 75.96% | SAMITE 75.35% / SAM 2.1 70.57% | 比次优 +0.61；比 SAM 2.1 +5.39 |
| TrackingNet 跟踪 | Succ（成功率） | 85.55% | SAM 2.1 85.41% / LoRAT 85.6% | 略低于 SAM 2.1 的 P，但 Succ/Pnorm 更优 |
| Anti-UAV300 RGB 无人机跟踪 | AUC | 64.26% | SAMITE 62.96% / SAM 2.1 60.05% | 比次优 SAMITE +1.30；比 SAM 2.1 +4.21 |
| Anti-UAV300 RGB 非线性子集 | AUC | 65.5% | SAMITE 63.3% / SAM 2.1 58.9% | 比 SAMITE +2.2；比 SAM 2.1 +6.6，非线性增益最显著 |
| 延迟开销（LaSOText） | ∆Latency (ms) | +10.7 ms | SAM2Long +357.2 ms / SAM2.1++ +210.3 ms | 约为 SAM2Long 的 1/33，效率优势极大 |
局限与改进
作者承认的局限包括：(1) 在 TrackingNet 这种短时、简单、非线性运动罕见的视频上，P 略低于 SAM 2.1/SAMURAI，因为方法针对非线性的增益在此场景无用武之地；(2) Table III 显示当 MP 与 TAMB 都启用时，EDRM 的额外增益有限，仅在前两者缺一时才显现价值，说明三模块存在一定功能重叠；(3) 方法本质仍依赖 SAM 2 的视觉先验，当 SAM 2 自身在极度稀疏语义场景（如热红外）下解码失败时，外挂模块也难完全补救。我自己的观察：(1) EDRM 与 TAMB 的大量阈值（$\sigma_{ar},\sigma_a,\sigma_s,\tau_{ar},\tau_a,\tau_s,\mu_{IoU},\mu_{obj},\mu_m$）虽经敏感性分析证明鲁棒，但不同模态/数据集间相对重要性会变化（如反无人机场景几何主导、通用场景语义主导），固定阈值仍可能损失上限；(2) MP 仅在 LaSOT 单一轨迹数据上训练，面对训练分布外的极端运动模式（高速急转、长时完全消失）时泛化边界未充分验证；(3) 评测集中于单卡 RTX 3090 的离线推理，未讨论实时性需求下的吞吐与显存。
独立分析的弱点
第一，超参空间庞大且需按场景调。EDRM 的 6 个阈值和 TAMB 的 3 个阈值虽敏感性分析显示鲁棒，但 Table IV(b) 也证实 LaSOText 上语义更重要、Anti-UAV 上几何几乎主导，暗示固定阈值在不同分布下并非最优。改进方向是引入自适应/可学习的阈值或场景感知的权重门控，按当前运动剧烈程度动态调节。第二，MP 的训练数据与表达力受限：仅用 LaSOT 边界框、4 层 LSTM，对极端非线性的建模边界不明。可考虑结合点轨迹与边界框的多模态输入、或用 Transformer 替代 LSTM、并在更大规模合成运动数据上训练以覆盖长尾。第三，EDRM 的恢复依赖『存在一个满足全部阈值的候选』这一前提，当 3 个候选全部错误时（如严重遮挡后 SAM 2 解码彻底失效），无法自救。可结合全局重检测或基于 prompt 的重新分割作为更强兜底。第四，对热红外等语义稀疏模态，语义分数 $S_s$ 信号弱，可引入跨模态对齐或专门的低层纹理线索补偿。
未来方向
作者明确指出的方向有限，更多是模块层面的延展：迁移到 SAM 3 骨干（Table VII 已初步验证 AUC 62.1→65.0）、扩展到其他 SAM 下游任务。基于成果可延伸的方向：(1) 把高阶马尔可夫运动建模 + EDRM 的『检测-恢复』范式推广到 referring video segmentation、伪装分割等 SAM 系任务，处理其中的非线性运动与身份漂移；(2) 把 MP 从边界框扩展到掩码级/点级运动预测，更精细地建模非刚体形变；(3) 探索 MP 与 SAM 2 联合微调的可能性，在保持泛化的同时进一步挖掘上限；(4) 研究端到端可微的错误检测，替代当前的硬阈值判断；(5) 针对实时跟踪需求，把 EDRM/TAMB 设计为按需触发以进一步降延迟。
复现评估
复现门槛较低、可信度较高。作者已公开代码（https://github.com/DurYi/SAMOSA）。训练侧只需 LaSOT 的边界框轨迹（标准基准、易获取），唯一可训练模块 MP 是 4 层 LSTM、约 119.3K 参数，单卡 NVIDIA RTX 3090（24GB）即可完成全部实验，无需大规模多卡训练。推理侧所有模块均为轻量外挂，SAM 2.1 骨干完全冻结，新增延迟仅 +10.7 ms。论文提供了详细的超参（k=5、N=3、T 帧窗口、M=30 候选、$N_m=6$）、损失权重与各阈值，Table V 还给出敏感性分析便于校验。主要复现风险在于 EDRM/TAMB 较多阈值在不同数据集/模态下需微调，且评测脚本（尤其 Anti-UAV600 验证集、DUT Anti-UAV）需对应官方平台。总体属中低难度可复现。
论文图表
散点图对比各方法在 Anti-UAV300 线性/非线性子集上的精度-延迟权衡。横轴为延迟、纵轴为跟踪精度，本文（Ours）在非线性子集上明显高于 SAMITE（+1.3）和 SAM 2.1（+11.0），且延迟仅 +10.7 ms。
这张图是全篇的『卖点图』，一图说明 SAMOSA 在非线性场景下的显著优势和低延迟特性，直接对应论文核心动机。
三组对比示例：(a) 运动线索帮助跟踪杂乱背景下的小目标；(b) 几何线索防止邻近相似干扰物造成混淆；(c) 语义线索利用隐特征识别并阻止目标漂移。每组都展示『无该线索时发生错误』vs『有该线索时正确』。
直观阐明本文的设计哲学——运动、几何、语义三类线索缺一不可，是理解三个模块动机的最佳入口。
对比 SAMOSA 与监督式 VOT 方法及 SAM 2-based 方法在 LaSOText/OTB/TrackingNet 上的 AUC/P/Pnorm 与延迟。SAMOSA 在 LaSOText AUC 62.97 全面领先，延迟仅 +10.7 ms，远低于 SAM2Long 的 +357.2 ms。
这是主结果表，是判断方法整体性能与效率权衡的核心证据。
在 Anti-UAV300(RGB/TIR)、Anti-UAV410、Anti-UAV600、DUT Anti-UAV 上对比 Acc/P/AUC。SAMOSA 在绝大多数指标上 SOTA，如 Anti-UAV300 RGB AUC 64.26。
展示方法在非线性运动密集的反无人机场景上的优势，是本文针对场景的最强证据。
逐步启用 MP/EDRM/TAMB 的消融实验。三模块结合最佳（LaSOText AUC 62.97，Anti-UAV300 RGB AUC 64.26）；TAMB 在通用基准贡献最大，MP 在反无人机场景贡献最大；EDRM 在前两者齐全时增益有限但缺一时作用显著。
直接验证三模块的互补性与必要性，是方法设计合理性的关键证据。
(a) MP 的 SIoU/几何/运动三类分数都不可或缺；(b) EDRM 的语义在 LaSOText 更重要、几何在 Anti-UAV 几乎主导；(c) TAMB 的 $S_{IoU}/S_{obj}/$运动三类信号互补。
细化验证每个模块内部各线索的相对重要性，揭示场景依赖性。
对 MP 的 $\alpha,\beta_{AR},\beta_{Area},\gamma$、EDRM 的 6 个阈值、TAMB 的记忆规模与阈值做敏感性分析，结果显示性能在多种配置下保持稳定。
证明方法对超参不敏感、鲁棒，支撑结论的可靠性。
对比 KF/EKF/MLP/LSTM 不同骨干、不同 context 长度、不同训练集与损失。LSTM(k=5)+LaSOT+CIoU 最优，MLP 仅 7.3K 参数也能接近；context=5 是性能-延迟最佳折中。
论证 MP 设计选择（LSTM、k=5、CIoU）的合理性，并展示轻量变体的可行性。
在 SAM 2.1 的 L/B+/S/T 各规模及 SAM 3 骨干上对比，SAMOSA 在所有配置下稳定优于 SAMURAI/SAMITE；在 SAM 3 上把 LaSOText AUC 从 62.1 提到 65.0，Anti-UAV300 RGB AUC 从 64.0 提到 67.2。
证明方法的可迁移性与对更强骨干的可扩展性，不绑定特定 SAM 版本。
定义判定非线性帧的三个指标阈值：加速度幅值 20 pixel/frame²、加速度角度偏差 3 rad/frame、加加速度(jerk) 20 pixel/frame³。
为 Table IX 的线性/非线性子集划分提供量化标准，是评估非线性场景性能的方法论基础。
在 Anti-UAV300(RGB/TIR) 与 DUT Anti-UAV 上按线性/非线性子集评估。SAMOSA 在两者上均最优，非线性子集增益尤其显著（Anti-UAV300 RGB 非线性 AUC 65.5 vs SAMITE 63.3）。
这是验证『方法针对非线性运动有效』最直接的定量证据，与 Fig.1 互为印证，是全篇最关键的细分结果。