VideoLoom：用于联合时空理解的视频大语言模型 VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding

VideoLoom的完整方法包含数据构建、模型架构和训练三个阶段。数据构建阶段（LoomData-8.7k）：首先使用PySceneDetect和KTS将ActivityNet训练集的视频分割为镜头（shot），过滤掉短于1秒的镜头和超过10个镜头的视频；然后对每个视频，用GroundingDINO在最长镜头的中心帧中检测'person'类别，保留最高分的边界框，用Pix2Cap生成外观描述；接着用SAM2跟踪该人物生成初始掩码轨迹，再用GroundingDINO在缺失轨迹的镜头中重新检测，用SAM2补全，形成完整轨迹；最后合并相邻有轨迹的镜头，用NumPro在2FPS采样帧上标注数字ID，用SoM在分割掩码上叠加实例ID，输入Gemini2.5pro生成时间戳对齐的动作描述。模型架构阶段：输入视频帧同时经过两个路径——MLLM视觉编码器（448×448分辨率）提取快token，SAM2视觉编码器（1024×1024分辨率）用于空间任务的高分辨率特征。快token（每帧16个）和慢token（每帧256个）与帧ID文本交织形成输入序列 $I = [F_1; ID_1; ...; F_{N_f}; ID_{N_f}; S_1; ...; S_{N_s}]$，输入InternVL3的LLM。对于空间任务，LLM输出的[SEG] token隐藏状态 $h_{seg}$ 通过MLP投影后作为SAM2掩码解码器的输入，生成关键帧掩码 $M_v = SAM2(f_v, MLP(h_{seg}))$。训练阶段：联合优化文本交叉熵损失和掩码损失（BCE+DICE），$\mathcal{L} = \lambda_{text}\mathcal{L}_{text} + \lambda_{mask}\mathcal{L}_{mask}$，两个权重均设为1。使用LoRA微调LLM和掩码解码器，视觉编码器冻结，学习率4×10⁻⁵，全局batch size 64，训练1个epoch。

VideoLoom的技术新颖性体现在多个层面。首先，SlowFast token设计是一种全新的视觉token编码范式，不同于以往工作对所有帧使用统一的token密度，它通过快慢两种token的分工协作，在不增加计算预算的前提下同时满足时间和空间任务的不同需求。实验表明，相比仅使用快token或慢token，SlowFast设计在QVHighlights上提升4.8 mIoU，在MeVIS上提升3.2 J&F。其次，[SEG] token桥接机制是一种优雅的多模型融合方案，它将MLLM的语义理解能力直接注入SAM2的分割能力，避免了多模型串联带来的信息损失和延迟。这种设计使得分割token能够编码MLLM在SlowFast token上建立的完整时空推理结果，而非仅依赖原始视觉特征。第三，LoomData-8.7k的自动标注流程利用多个视觉基础模型的级联协作（GroundingDINO检测→SAM2跟踪→Gemini2.5pro描述），首次实现了在近2分钟的长视频上同时标注时间戳和空间掩码，且每段描述平均41.3个词，提供了丰富的细粒度监督信号。第四，双向前景J&F指标通过计算预测和真值前景区域各自时间跨度上的J&F的调和均值，避免了背景帧对评估的干扰，特别适合评估组合时空问题。

基于独立分析，VideoLoom存在以下可改进的弱点。第一，时间表示依赖数值帧ID文本，这种将时间理解完全转化为语言问答的方式可能在需要精细时间推理（如毫秒级定位或复杂时序关系判断）时遇到瓶颈，因为LLM对数值的精确处理能力有限。改进方向可以探索连续时间嵌入或专用时间编码器。第二，快token的帧采样策略是均匀的，未考虑视频内容的动态性。对于动作密集区域和静态区域使用相同的采样密度会浪费计算资源。可以引入内容自适应采样策略，在动作变化剧烈的区域增加采样密度。第三，SlowFast token的超参数（快token 128帧×16 token，慢token 5帧×256 token）是固定的，未根据视频长度和任务复杂度动态调整。对于短视频可能快token过多，对于长视频可能慢token覆盖不足。第四，模型仅在人物（person）类别上进行了详细的标注和训练，对其他物体类别的覆盖依赖于通用分割数据，这限制了模型在非人物场景下的细粒度理解能力。第五，SAM2的掩码传播机制在处理遮挡、快速运动或外观剧变时可能产生漂移，而VideoLoom未对此类边界情况进行特殊处理。

论文和本文分析共同指出了多个有前景的未来研究方向。作者提出，未来计划进一步自动化标注流程，通过集成更强的多模态基础模型和智能体（agent）来进行标注生成和验证，提升效率和可靠性。除此之外，基于VideoLoom的成果可以延伸以下方向：第一，将SlowFast token设计扩展到更长视频（如数小时的电影或监控视频），探索分层采样和记忆压缩机制；第二，将联合时空理解能力应用于具身智能（embodied AI）场景，如机器人操作视频的理解和指令跟随；第三，探索端到端的时空标注模型，用VideoLoom自身来辅助数据标注，形成数据-模型的正向循环；第四，将[SEG] token桥接机制推广到其他视觉任务模块（如深度估计、光流预测），构建更全面的视频理解系统；第五，研究如何在保持联合能力的同时，通过任务自适应路由或专家混合机制提升单一任务的专精性能，缩小与专门模型的差距；第六，探索多语言和跨文化场景下的时空理解能力，验证模型的泛化性。

VideoLoom的复现条件总体较为友好，但仍有一定门槛。代码和模型方面，论文提到项目网站为 https://github.com/JPShi12/VideoLoom，预期会开源代码和预训练权重。基座模型方面，使用的是开源的InternVL3和SAM2，均有公开权重。训练数据方面，LoomData-8.7k基于ActivityNet构建，ActivityNet是公开数据集，但LoomData本身的标注依赖Gemini2.5pro等商业API，完全复现标注流程需要相应的API访问权限。训练数据还包括多个公开数据集（LLaVA-665k、RefCOCO系列、RefYTVOS、MeVIS、ReVOS、Charades-STA、YouCook2、QVHighlights），共计约130万样本，训练1315K次迭代。算力方面，实验在8块NVIDIA H20 GPU（96GB显存）上进行，使用XTuner代码库，这对于学术实验室来说是可以获取的配置。整体复现难度中等：模型架构和训练流程相对标准化，但完整的数据标注流程需要多个模型和API的支持。建议复现时优先使用作者开源的LoomData-8.7k数据，而非从头运行标注流程。