3AM：视频中基于几何一致性的任意物体分割 3AM: Segment Anything with Geometric Consistency in Videos
将MUSt3R的3D感知特征融入SAM2，实现视角鲁棒的视频目标跟踪
前置知识
Video Object Segmentation (VOS)
视频目标分割是指在视频序列中识别并跟踪目标物体，为每一帧生成一致的分割掩码。传统VOS方法如SAM2基于记忆架构，利用时空注意力机制和特征检索来实现帧间物体关联。记忆模块存储历史帧的特征，通过注意力机制在当前帧中检索相似特征以维持物体身份。然而，这些方法主要依赖2D外观特征，当视角发生大幅变化时，外观特征的相似性显著下降，导致跟踪失败或身份切换。
本文的核心目标是改进VOS方法在大视角变化下的鲁棒性，理解传统VOS的工作原理和局限性是理解本文动机的基础。
MUSt3R
MUSt3R是一种端到端的3D重建模型，能够从2D图像输入直接推断几何结构。它基于DUSt3R/MASt3R家族的架构，通过多视角交叉注意力机制学习多视角一致性特征。MUSt3R的特征编码了隐式的几何对应关系：浅层特征保留语义对应性，深层特征逐渐过渡到点云域，具有更强的几何结构信息。这种从语义到几何的层次化特征表示是3AM融合策略的关键基础。
3AM的核心创新在于利用MUSt3R的几何感知特征增强SAM2，理解MUSt3R的特征层次结构对于理解Feature Merger的设计至关重要。
SAM2 (Segment Anything Model 2)
SAM2是一种可提示的视频分割模型，采用流式记忆架构。它由图像编码器、记忆注意力模块和掩码解码器组成。图像编码器提取每帧的2D外观特征，记忆注意力模块将当前帧特征与历史记忆进行关联，掩码解码器输出最终的分割结果。SAM2支持点、框、掩码等多种提示方式，在标准VOS基准上表现优异，但在大视角变化场景下性能显著下降，因为其特征表示缺乏几何感知能力。
SAM2是3AM的基础骨干网络，3AM在保持SAM2的可提示性和效率的同时，通过融合3D特征弥补其几何感知的不足。
Feature Merger（特征融合器）
Feature Merger是3AM的核心模块，负责将MUSt3R的多层次3D特征与SAM2的2D外观特征融合。它采用层次化交叉注意力机制：首先对最浅层（语义最丰富）的MUSt3R特征进行自注意力处理，然后依次通过交叉注意力层整合更深层的MUSt3R特征，其中当前合并表示作为查询，每个额外的MUSt3R特征提供键值对。最后通过卷积阶段将融合后的几何特征与SAM2的2D特征合并，恢复精细的空间细节。
Feature Merger是实现3D感知特征融合的技术核心，理解其设计对于把握3AM的技术贡献至关重要。
Field-of-View Aware Sampling（视场感知采样）
这是3AM提出的训练帧采样策略，用于解决大物体在不同视角下覆盖区域不一致的问题。具体做法是：将第一个采样帧设为参考帧，对于后续候选帧，将其物体掩码反投影到3D空间，变换到参考帧坐标系后重新投影。只有当足够比例的掩码3D点落在参考相机视锥体内时，该帧才被保留。这确保了选择的帧观察的是物体的重叠物理区域，避免了同一物体不同部分被错误关联的情况。
视场感知采样是3AM训练策略的关键创新，直接影响模型学习3D对应关系的能力和收敛速度。
Dynamic Object Fallback（动态物体回退机制）
3AM针对动态物体设计的自适应回退机制。当检测到物体存在显著运动时，系统自动切换回原始SAM2流程。这是因为在序列中间动态切换3AM和原始SAM2会破坏时序记忆库，因为两条路径产生根本不同的掩码分布。因此采用序列级别的简单切换：对于持续可见的动态物体，SAM2本身表现良好；对于暂时消失后重新出现的静态物体，3AM专门解决这类重识别问题。
理解这一机制有助于把握3AM的方法边界和适用场景，以及作者对不同跟踪场景的实用分类。
研究动机
视频目标分割（VOS）领域存在两个并行的发展方向，各自都有关键缺陷。第一类是基于2D记忆架构的模型，如SAM2、SAM2Long和DAM4SAM。SAM2在标准基准上表现出色，但在视角大幅变化时性能显著下降。例如，在ScanNet++ Selected Subset上，SAM2的IoU仅为0.3397，Tracking Recall仅为0.0179；即使改进版SAM2Long也只能达到IoU 0.7474和Tracking Recall 0.4133。MOSEv2的研究也显示在宽基线变化下存在显著退化。核心问题在于纯2D方法依赖外观特征建立对应关系，当物体因视角变化而外观显著改变时，无法维持可靠的跟踪。第二类是3D实例分割方法，如Mask3D、Open3DIS、EmbodiedSAM等，虽然能实现更好的视角一致性，但需要相机位姿、深度图和昂贵的预处理。这些方法的计算复杂度随帧数超线性增长，且2D到3D的提升过程存在视角不一致预测问题。PanSt3R等端到端方法虽然整合了3D感知特征，但需要离线访问整个序列，不支持流式处理，且与可提示骨干网络（如SAM2）不兼容。
本文的目标是本文的具体目标是实现一个既能保持3D感知视角鲁棒性，又能保留可提示性和效率的视频目标分割框架，且在推理时不需要显式的3D监督信号。具体而言，3AM需要：(1) 在仅有RGB输入的情况下实现几何一致的物体跟踪；(2) 在大视角变化、遮挡和物体重现场景下维持物体身份一致性；(3) 在ScanNet++和Replica等宽基线数据集上显著超越现有VOS方法；(4) 通过简单的回退机制保持在传统VOS基准上的竞争性能。作者期望在ScanNet++ Selected Subset上实现IoU超过0.90、Tracking Recall超过0.70的目标，相比SAM2Long分别提升15和30个百分点以上。
与已有工作不同的是，本文的独特切入角度在于观察到一个关键洞见：MUSt3R从多视角一致性学习中编码了隐式的几何对应关系。与之前需要显式3D输入（如点云、深度图、相机位姿）或离线3D重建的方法不同，3AM将3D信息仅作为轻量级的关联线索而非硬性前提条件。具体而言，3AM通过Feature Merger将MUSt3R的多层次几何特征与SAM2的外观特征融合，实现基于空间位置和视觉相似性的几何一致识别。这种设计保持了2D分割框架的优势，同时获得了3D感知能力。与PanSt3R需要学习二次融合不同，3AM的Feature Merger采用层次化交叉注意力机制，逐步整合从语义到几何的不同深度信息。此外，3AM提出了视场感知采样策略，确保训练帧观察物体的空间一致区域，这是之前方法未探索的训练策略创新。
核心方法
3AM的方法整体思路是将3D重建模型的几何感知特征作为轻量级关联线索注入到2D视频分割框架中。直觉上，当物体因视角变化而外观显著改变时，纯外观匹配会失效，但如果两个视角观察的是同一3D位置的物体，基于几何一致性的特征匹配仍然可靠。技术路线分为四个关键步骤：首先，使用SAM2图像编码器提取2D外观特征 $F_{2D}^i$，同时使用MUSt3R提取3D几何特征 $F_{3D}^i$；其次，通过Feature Merger将多层次MUSt3R特征融合为统一的几何感知表示，并与SAM2特征合并得到 $F_{merged}^i$；然后，将合并特征通过记忆注意力模块和掩码解码器生成最终分割结果；最后，在训练阶段采用视场感知采样策略确保几何一致性学习。整个框架仅需RGB输入，推理时不需要相机位姿或深度图。
3AM的核心创新在于两个方面。第一个是特征融合策略：MUSt3R的特征具有从语义对应到点云域的层次化结构，浅层特征保留与查询点的清晰对应模式，深层特征产生更弥散的响应但具有更强的几何结构。3AM选择同时采样浅层和深层特征，通过层次化交叉注意力逐步整合：以最浅层特征作为初始输入进行自注意力处理，然后依次将更深层特征通过交叉注意力层融入，当前合并表示作为查询，每个额外的MUSt3R特征提供键值对。这与PanSt3R的二次融合或简单相加有本质区别。第二个是视场感知采样策略：解决大物体在不同视角下覆盖区域不一致的问题，通过相机位姿和深度信息过滤候选帧，确保选择的帧观察物体的重叠物理区域，避免模型学习到错误的几何对应关系。
方法步骤详情
3AM的完整方法流程如下：(1) 对于视频帧 $i$，同时通过SAM2图像编码器和MUSt3R处理，分别获得2D外观特征 $F_{2D}^i$ 和3D几何特征 $F_{3D}^i$；(2) Feature Merger首先对最浅层（语义最丰富）的MUSt3R特征进行自注意力处理建立初始语义表示；(3) 剩余采样的MUSt3R特征依次通过交叉注意力层整合，其中当前合并表示作为查询，每个额外MUSt3R特征提供键值对；(4) 交叉注意力输出送入卷积阶段，与SAM2的2D特征 $F_{2D}^i$ 合并恢复精细空间细节，得到最终的 $F_{merged}^i$；(5) 合并特征经过记忆注意力模块与历史帧关联，通过掩码解码器输出分割结果，并编码为记忆特征供未来帧参考；(6) 训练时，对有相机位姿的数据集（ScanNet++、ASE），以80%概率使用视场感知采样、20%概率使用连续采样；对无位姿数据集（MOSE）使用连续采样；(7) 推理时，若检测到显著运动，序列级别切换回原始SAM2流程。
技术新颖性
3AM的技术新颖性体现在多个层面。首先，首次提出将3D重建模型的隐式几何对应特征作为轻量级关联线索注入2D分割框架，而非将其作为硬性前提条件，这与需要显式3D输入的方法有本质区别。其次，发现MUSt3R特征具有从语义到几何的层次化结构，并设计了层次化交叉注意力融合机制，这比简单相加或拼接更有效。第三，视场感知采样策略是全新的训练策略创新，通过投影几何约束确保训练帧的空间一致性，这是之前VOS训练方法未探索的方向。第四，3AM的动态物体回退机制基于实用的场景分类（持续可见的动态物体、暂时消失的静态物体、视锥外移动的动态物体），采用序列级别简单切换而非复杂的中序列融合，这一设计决策基于对记忆库一致性的深入理解。最后，3AM展示了无需3D标注即可实现3D实例分割的可能性，仅通过几何一致的2D跟踪就能获得可靠的3D实例，这为3D理解任务提供了新范式。
实验结果
3AM在多个基准上取得了显著的性能提升。在ScanNet++ Whole Set上，3AM达到IoU 0.8898，显著优于SAM2的0.4392、SAM2Long的0.8233和DAM4SAM的0.8205；Tracking Recall为0.5630，相比SAM2的0.0235提升了23倍。在更具挑战性的ScanNet++ Selected Subset（专门构建用于强调物体重现）上，3AM达到IoU 0.9061和Tracking Recall 0.7168，相比SAM2Long的0.7474和0.4133分别提升15.9和30.4个百分点。在Replica数据集上，3AM达到IoU 0.8119，超越SAM2（0.4424）、SAM2Long（0.7691）和DAM4SAM（0.7744），Tracking Recall为0.6381（vs SAM2Long的0.5195）。在ScanNet200的3D实例分割任务上，3AM作为在线方法且不需要3D GT，达到AP 47.3、AP50 59.7、AP25 75.3，超越所有在线和离线方法。消融实验表明，MUSt3R单独使用时IoU为0.8461但Tracking Recall仅0.5471，SAM2单独使用时IoU仅0.6628，说明两个特征源都是必要的。视场感知采样相比随机采样（IoU 0.7363）和连续采样（IoU 0.7925）有显著优势。在传统VOS基准（DAVIS17、LaSOT等）上，3AM通过回退机制保持与SAM2相当的性能（DAVIS17 J&F 89.0）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScanNet++ Whole Set 视频目标分割 | IoU / Tracking Recall / Accuracy | 0.8898 / 0.5630 / 0.7155 | SAM2Long: 0.8233 / 0.4166 / 0.6855 | IoU +6.65 / Recall +14.64 / Acc +3.00 |
| ScanNet++ Selected Subset 视频目标分割 | IoU / Tracking Recall / Accuracy | 0.9061 / 0.7168 / 0.7737 | SAM2Long: 0.7474 / 0.4133 / 0.6382 | IoU +15.87 / Recall +30.35 / Acc +13.55 |
| Replica 视频目标分割 | IoU / Tracking Recall / Accuracy | 0.8119 / 0.6381 / 0.6793 | DAM4SAM: 0.7744 / 0.5135 / 0.6124 | IoU +3.75 / Recall +12.46 / Acc +6.69 |
| ScanNet200 3D实例分割（类别无关） | AP / AP50 / AP25 | 47.3 / 59.7 / 75.3 | ESAM: 42.2 / 63.7 / 79.6 | AP +5.1（在线方法最高，无需3D GT） |
| ScanNet++ 两视角匹配 | IoU / Tracking Recall / Accuracy | 0.8915 / 0.5115 / 0.6405 | SegMASt3R: 0.6800 / 0.3628 / 0.4053 | IoU +21.15 / Recall +14.87 / Acc +23.52 |
| DAVIS17 传统VOS基准 | J&F | 89.0 | SAM2: 89.0 | 持平（通过回退机制保持性能） |
局限与改进
尽管3AM取得了显著的性能提升，但仍存在多方面的局限性。首先，动态物体是3AM的主要弱点，因为其几何一致性假设在物体形状、位置或方向随时间变化时会失效。作者通过检测运动并回退到原始SAM2来缓解这一问题，但这种序列级别的切换意味着对于混合场景（部分动态部分静态）的处理不够精细。其次，3AM的训练需要带有相机位姿和深度信息的3D数据集（如ScanNet++、ASE），这些数据的获取成本较高，限制了训练数据的多样性和规模。第三，MUSt3R推理会增加额外的计算开销，3AM的推理速度为6.3 FPS（SAM2为14.4 FPS），约为SAM2的一半，这对于实时应用可能是限制因素。第四，记忆模块容量有限（SAM2最多维护8个记忆槽），在长序列复杂场景中可能成为瓶颈。此外，3AM在传统VOS基准（DAVIS17 J&F 89.0）上并未超越SAM2，说明其优势主要体现在宽基线和物体重现场景，在相对固定的相机设置下并无额外收益。最后，MUSt3R和SAM2图像编码器在训练中保持冻结，只有Memory Attention、Mask Decoder和Feature Merger可训练，这可能限制了模型的进一步优化空间。
独立分析的弱点
基于对论文的独立分析，3AM存在以下值得改进的弱点。第一，Feature Merger的设计虽然有效，但层次化交叉注意力的计算复杂度较高，特别是在采样多个MUSt3R深度层时。可以探索更高效的注意力机制（如线性注意力或稀疏注意力）来降低计算开销。第二，视场感知采样需要相机位姿和深度信息，这限制了其在无标注数据上的应用。可以研究基于学习的视场估计方法，使采样策略能够自适应地应用于任意视频。第三，动态物体回退机制是粗粒度的序列级别切换，可以设计更精细的帧级别或区域级别融合策略，使3AM和SAM2的特征在同一序列的不同区域协同工作。第四，当前方法仅使用8个记忆槽，可以探索自适应记忆管理策略，根据场景复杂度和物体数量动态调整记忆容量。第五，3AM在ScanNet200上的AP50（59.7）略低于ESAM（63.7），说明在高IoU阈值下的精度仍有提升空间，可能需要改进掩码解码器的设计。
未来方向
作者提出了几个有前景的未来研究方向。首先，设计专门针对3AM的记忆选择机制是有意义的探索方向，当前3AM使用原始SAM2的记忆选择，而SAM2Long和DAM4SAM的记忆策略虽然带来了小幅提升，但潜力尚未充分挖掘。其次，可以将3AM扩展到更广泛的3D感知任务，如视频理解、场景重建和机器人导航，利用其几何一致性特征为这些任务提供更可靠的物体表示。第三，探索将3AM与大型语言模型结合进行推理式分割，利用几何感知特征增强语言引导的分割能力。第四，可以研究在线自适应策略，使3AM能够根据场景特征自动调整几何特征的融合权重，在几何一致性和外观匹配之间实现更好的平衡。第五，将3AM扩展到户外场景和动态环境，目前主要在室内数据集上验证，探索其在自动驾驶、增强现实等实际应用中的潜力。第六，研究轻量化的MUSt3R替代方案，降低3D特征提取的计算成本，使3AM更适合实时应用。
复现评估
论文的复现性评估如下：代码开源方面，作者提供了项目主页（https://jayisaking.github.io/3AM-Page/），但论文中未明确说明代码和模型权重是否会公开发布。数据方面，训练使用了三个公开数据集：ScanNet++（855个场景）、ASE（2612个场景）和MOSE（1453个视频），评估使用ScanNet++和Replica，这些都是广泛使用的基准数据集，易于获取。算力方面，训练1M次迭代，batch size为1，使用AdamW优化器，学习率分别为5e-6（Memory Attention、Mask Decoder）和1e-5（Feature Merger），需要预计算MUSt3R特征，这需要显著的GPU资源和存储空间。复现难度中等：架构设计清晰，但需要正确实现Feature Merger的层次化交叉注意力、视场感知采样策略和动态物体检测分支。MUSt3R和SAM2都是公开模型，可以作为基础组件使用。建议复现者先在小规模数据上验证各组件的功能，再扩展到完整训练。
论文图表
展示了3AM的整体功能：给定输入视频或无约束照片集合，以及用户提供的提示（掩码、点或框），3AM在所有视图中生成一致的物体轨迹。图中展示了三个典型场景，包括从掩码、点和框提示出发的跟踪结果，说明3AM能够维持跨视角对应关系，即使在大视角变化、杂乱场景和不同捕获条件下也是如此。
这张图是理解3AM核心功能的入口，直观展示了方法的输入输出和应用场景，帮助读者快速把握论文的主旨。
对比了三种方法的跟踪失败模式：(a) SAM2在相机大幅运动时丢失跟踪，掩码漂移或消失；(b) EmbodiedSAM等3D分割方法依赖相机位姿和3D掩码合并，在3D重建不完整或有噪声时传播错误；(c) 3AM在不需要相机位姿或3D GT掩码的情况下，能够跨大幅视角变化一致地跟踪物体实例。
这张图清晰地展示了现有方法的两个关键缺陷和3AM的解决思路，是理解论文动机的核心图示。
这是论文最核心的结果表格，展示了3AM与SAM2、SAM2Long、DAM4SAM在ScanNet++ Whole Set、ScanNet++ Selected Subset、DAVIS17、LaSOT、LaSOText、DiDi等数据集上的全面比较，包括IoU、Tracking Recall、Accuracy、J&F、AUC等指标，以及FPS和内存使用。3AM在ScanNet++上取得了最佳性能，同时在传统VOS基准上保持竞争力。
这是论文的主要实验结果表格，展示了3AM在各种场景下的性能优势，是评估方法有效性的核心依据。
比较了3AM和SegMASt3R在两视角匹配协议下的性能。3AM仅使用源帧作为记忆，达到IoU 0.8915、Tracking Recall 0.5115、Accuracy 0.6405，显著优于SegMASt3R的0.6800、0.3628、0.4053。
这个表格展示了3AM即使在受限的两视角设置下也优于专门设计的两视角匹配方法，进一步证明了其几何特征融合的有效性。
系统地消融了三个关键设计选择：特征源（SAM2 vs MUSt3R vs 两者）、Feature Merger架构（加法+卷积 vs 拼接+注意力 vs 层次化交叉注意力）和采样策略（连续 vs 随机 vs 视场感知）。结果表明三个组件都是必要的，层次化交叉注意力配合视场感知采样达到了最佳性能（IoU 0.9061）。
消融实验表格是理解各组件贡献的关键，支撑了方法设计的每个决策。
比较了VGGT、π3、CUT3R和MUSt3R作为3D特征源的效果。VGGT和π3是离线方法，不支持在线跟踪。CUT3R支持在线但Tracking Recall仅0.2751。MUSt3R完全在线且提供了最强的物体对齐，Tracking Recall达到0.7168。
这个表格支撑了选择MUSt3R作为3D特征源的设计决策，解释了几何稳定性对跟踪性能的关键影响。