VidEoMT：你的ViT其实也是一个视频分割模型 VidEoMT: Your ViT is Secretly Also a Video Segmentation Model

VidEoMT的推理流程如下。对于第一帧（t=0）：输入图像经过线性Patch嵌入和位置编码后，得到patch token序列；可学习查询 $Q^{lrn} = \{q_i^{lrn} \in \mathbb{R}^D\}_{i=1}^N$ 被拼接到patch token之后，两者共同经过前L1层编码器块处理；然后在最后L2层（通常L2=4）中继续联合处理，最终输出更新后的查询 $Q_0^S$，用于预测第一帧的分割掩码和类别标签。对于后续帧（t>0）：不再使用可学习查询，而是通过查询传播使用前一帧的输出 $Q_{t-1}^S$；前一帧的查询首先经过一个线性层变换，然后与可学习查询通过逐元素加法融合，得到融合查询 $Q_t^F$；融合查询被注入到当前帧ViT编码器的最后L2层，与patch token联合处理后输出分割预测和新的查询 $Q_t^S$。训练方面，采用与Mask2Former相同的损失函数（分类用交叉熵，分割用BCE+Dice），总损失为 $\mathcal{L}_{tot} = \lambda_{bce}\mathcal{L}_{bce} + \lambda_{dice}\mathcal{L}_{dice} + \lambda_{ce}\mathcal{L}_{ce}$，权重分别为5.0、5.0和2.0。训练分两阶段：第一阶段仅训练图像分割（COCO实例分割+目标视频数据集），第二阶段引入时序监督进行视频分割微调。模型使用N=200个可学习查询，特征维度D=1024。

VidEoMT的技术新颖性体现在多个层面。首先，在架构层面，它是第一个实现纯编码器视频分割的模型。此前的方法无论是CAVIS、DVIS++还是DVIS-DAQ，都遵循'分割器+追踪器'的范式，至少包含一个Transformer解码器和若干追踪专用模块。VidEoMT将这一切统一到单一的ViT编码器中，这是一个范式级的创新。其次，在时序建模机制上，查询传播和查询融合的设计极其简洁——仅需一个线性层和一次逐元素加法——却能有效替代整个追踪器模块（包含多个Transformer块、上下文感知特征、重标识层等）。这种以极少参数量和计算量实现相当效果的能力是前所未有的。第三，在实验方法论上，作者采用的'逐步移除'消融策略（表1）为视频分割领域提供了一个清晰的'什么组件真正重要'的分析框架，这种研究范式本身具有方法论价值。最后，本文发现模型规模和预训练规模是决定编码器内时序建模能力的关键因素，这一发现为视觉基础模型的视频理解能力提供了新的见解。

VidEoMT有几个值得深入分析的弱点和对应的改进方向。第一，查询传播仅使用前一帧的信息，这意味着物体的时序信息传播范围有限。在物体短暂被遮挡后重新出现的场景中（如OVIS数据集），模型可能难以正确恢复追踪。改进方向：可以设计多帧查询聚合机制，例如使用指数移动平均或注意力池化来维护长期物体状态，而不是简单地用前一帧的查询替换当前帧的输入。第二，查询融合采用简单的线性层加逐元素加法，这种融合方式可能过于简单，无法有效处理物体数量变化（如新物体出现或物体消失）的复杂情况。改进方向：可以用自适应门控机制替代简单加法，让模型动态控制时序信息和新检测信息的融合比例。第三，N=200个可学习查询是固定的，这意味着模型最多只能追踪200个物体。在密集场景（如VIPSeg全景分割中有大量物体）中，这一限制可能导致部分物体无法被检测。改进方向：可以设计动态查询分配策略，根据场景复杂度自适应调整查询数量。第四，VidEoMT在训练时需要两阶段训练（先图像分割再视频分割），这比端到端训练更复杂。改进方向：探索单阶段联合训练策略，可能通过课程学习逐步引入时序约束。

基于VidEoMT的成果，未来研究可以从多个方向展开。首先，将编码器唯一视频分割范式扩展到更多任务，如视频目标检测、视频语义分割的实例级追踪，甚至是视频问答等需要时序理解的任务。作者的工作为'ViT编码器可以承担时序建模'这一假设提供了强有力的实验证据，这可能启发更多任务的架构简化。其次，探索更高效的查询传播策略，例如结合记忆库（memory bank）维护多帧的物体信息，或者设计分层传播机制在不同时间尺度上建模时序关系。第三，研究预训练策略对视频分割能力的影响：DINOv2的跨视角一致性预训练目标已经暗示了视频追踪的潜力，是否可以设计专门针对视频任务的预训练目标（如跨帧一致性约束）来进一步增强编码器的时序建模能力？第四，将VidEoMT与新兴的视觉基础模型（如DINOv3、SigLIP等）结合，探索更大规模预训练是否能进一步缩小与复杂模型的精度差距。最后，将编码器唯一设计应用于视频生成、视频编辑等生成式任务中，验证其在更广泛视频理解场景中的通用性。

本文的复现条件较为良好。作者已公开代码（https://www.tue-mps.org/videomt/），这对于复现至关重要。模型架构相对简单，核心创新（查询传播和融合）仅需一个线性层和一次逐元素加法，实现复杂度低。训练方面，使用标准的DINOv2预训练ViT-L（可通过Hugging Face获取），损失函数采用与Mask2Former相同的设置，超参数（batch size 8、学习率10^-4、LLRD因子0.6等）均有明确说明。然而，复现存在一定门槛：（1）训练使用8张NVIDIA H100 GPU，对算力要求较高；（2）FPS测量使用FlashAttention v2和torch.compile，在不同硬件和PyTorch版本上结果可能有差异；（3）两阶段训练（先COCO图像分割再视频数据集微调）需要额外的训练时间和数据准备。总体而言，具备中等以上GPU资源的研究团队应该能够在1-2周内完成复现。