Molmo2：面向视频理解与定位的开放权重和数据的视觉语言模型 Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding
首个完全开放的视频视觉语言模型，支持视频定位、跟踪和密集描述，性能超越专有模型
前置知识
视觉语言模型 (VLM)
视觉语言模型是一类将视觉编码器（通常是 Vision Transformer，即 ViT）与大型语言模型（LLM）结合的多模态模型。视觉输入（图像或视频帧）首先通过 ViT 编码为 patch 级别的特征，然后经过连接模块（connector）投影到 LLM 的嵌入空间，与文本 token 一起输入 LLM 进行推理。典型代表包括 GPT-5、Gemini、Qwen-VL 等。Molmo2 使用 SigLIP 2 作为视觉编码器，Qwen3 作为 LLM 骨干。
Molmo2 的核心架构就是 ViT + Connector + LLM 的标准范式，理解这个基础架构才能理解论文中关于 crop 策略、pooling、token 编码等技术细节。
视觉定位 (Visual Grounding)
视觉定位是指模型能够将语言描述与图像/视频中的具体空间位置对应起来的能力。在图像中表现为输出坐标点（pointing）或边界框（bounding box），在视频中还扩展到时间维度——模型需要回答「在哪个时间点、哪个位置发生了某个事件」或「持续追踪某个物体的运动轨迹」。这与传统的纯文本问答不同，定位要求模型输出精确的像素级或时间级坐标。
视觉定位是 Molmo2 最核心的创新点。论文将图像定位范式扩展到视频的时间维度，实现了视频中的点定位（pointing）和物体跟踪（tracking），这是此前开源模型几乎完全缺失的能力。
视频目标跟踪 (Video Object Tracking / Ref-VOS)
视频目标跟踪是指给定一个语言描述或初始点，模型需要在视频的每一帧中识别并标注目标物体的位置。传统方法（如 Ref-VOS）输出分割掩码（segmentation mask），而 Molmo2 采用点级跟踪（point-based tracking）——在每一帧中输出目标物体上的一个坐标点，再利用 SAM 2 将点转换为分割掩码。跟踪需要处理遮挡、物体重识别、外观变化等挑战。
Molmo2 的跟踪能力是其超越现有模型的关键优势之一。在 MeViS、ReasonVOS 等基准上，Molmo2 以 63.3 的 J&F 远超 VideoMolmo 的 53.9，甚至超越了专门的分割模型。理解跟踪任务才能评估论文的贡献。
序列打包与消息树 (Packing & Message Trees)
序列打包是一种训练效率优化技术，将多个短样本合并为一个长序列，避免大量 padding 浪费计算资源。消息树（Message Trees）则是 Molmo2 的编码方案：将视频/图像作为树的根节点，多个标注（如不同 QA 对）作为不同分支，线性化为单序列后使用自定义注意力掩码防止分支间交叉注意力。例如一个视频有 4 个标注，通过消息树可以在单次前向传播中处理所有标注，实现约 15 倍的训练效率提升。
这套高效的训练技术是 Molmo2 能在合理计算预算内完成大规模训练的关键。论文报告 8B 模型 SFT 阶段仅需约 8100 GPU 小时（128 张 H100 训练 63 小时），远低于同等规模模型的训练成本。
Token 权重策略 (Token Weighting)
Molmo2 的训练数据中，不同任务的输出长度差异巨大：选择题可能只需 1 个 token，而视频描述可能超过 4000 个 token。如果不加处理，长输出样本会在损失计算中占主导地位，导致短答案任务退化。Molmo2 对视频描述使用 0.1 的固定权重，指向任务使用 0.2 的权重，其他任务使用 $\sqrt{n/4}$ 的启发式权重（$n$ 为答案 token 数），从而平衡长短输出任务的学习。
这是 Molmo2 的一个关键训练创新。消融实验表明，移除 token 权重策略后 QA 平均分从 64.8 降至 64.0，说明该策略对多任务平衡至关重要。
研究动机
当前最强的视频语言模型（如 GPT-5、Gemini 系列）均为闭源专有模型，其权重、数据和训练配方均不公开。开源社区中表现最好的模型（如 Eagle2.5、Qwen3-VL）虽然开放了权重，但要么依赖专有模型生成的合成数据（本质上是对专有模型的蒸馏），要么不公开训练数据和配方。这导致开源社区缺乏独立改进视频语言模型的基础。更关键的是，现有模型普遍缺失视频定位能力——即使在图像定位已经相当成熟的今天，视频中的时空定位（在哪个时间点、哪个位置发生了什么）仍然是一个几乎未被解决的问题。在视频计数任务上，最强的开源模型 Qwen3-VL-8B 仅达到 29.6% 的准确率，而专有模型 Gemini 3 Pro 也只有 37.1%；在视频指向任务上，Qwen3-VL-8B 的 F1 分数仅为 1.5，几乎无法产生有意义的指向输出。
本文的目标是Molmo2 的目标是构建一个完全开放（开放权重、开放数据、开放代码）的视频语言模型家族，在视频理解（问答、描述、计数）和视频定位（指向、跟踪）两大能力维度上达到或超越专有模型的水平。具体而言，论文追求三个可量化的目标：一是在短视频理解基准上达到开源模型最优；二是在视频定位任务上大幅超越现有开源模型并挑战专有模型；三是通过完全不使用专有 VLM 生成数据来确保数据透明性，避免循环依赖问题。
与已有工作不同的是，Molmo2 抓住了两个被现有工作忽视的关键点。第一，现有开源视频数据集大多通过专有模型蒸馏生成，这造成了数据偏差的传递和对专有模型的依赖。Molmo2 通过创新的人机协作数据收集流程（口语化描述 + Molmo 帧级标注 + LLM 润色）构建了完全不依赖专有 VLM 的数据集。第二，现有模型将视频理解与定位视为独立任务，而 Molmo2 将两者统一在一个模型中——通过将 2D 图像指向范式扩展到时间维度，模型不仅能指出物体在哪一帧出现，还能持续追踪物体的运动轨迹。这种统一架构使得定位信息能反哺理解能力，消融实验显示加入指向预训练后视频 QA 分数提升了 0.9 个百分点。
核心方法
Molmo2 的方法可以类比为「给一个聪明的语言学家安装一双精确的眼睛和一个秒表」。整体架构遵循标准的 ViT + Connector + LLM 范式：SigLIP 2 视觉编码器充当「眼睛」，将图像/视频帧编码为 patch 级特征；连接模块（注意力池化 + MLP）充当「翻译官」，将视觉特征转换为 LLM 能理解的 token；Qwen3 LLM 充当「大脑」，整合视觉和文本信息进行推理。对于视频输入，模型以 2 fps 采样帧，最多处理 128 帧（长上下文阶段扩展到 384 帧），帧间插入文本时间戳。训练分为三个阶段：图像预训练（32k 步，学习基本的图像描述和指向能力）、联合 SFT（30k 步，在图像+视频+多图+文本的混合数据上微调）和长上下文 SFT（2k 步，扩展序列长度到 36864）。技术创新包括：双向注意力（允许视觉 token 间相互关注）、消息树编码（高效处理多标注样本）、token 权重策略（平衡长短输出任务）以及在线打包算法（最大化训练吞吐量）。
Molmo2 最本质的创新在于将视觉定位从静态图像扩展到动态视频的时空域，并通过精心设计的数据和训练策略实现统一。具体而言，模型使用一种压缩的纯文本格式表示坐标：包含归一化的 x、y 坐标、时间戳（或图像索引）和唯一物体 ID。这种设计一箭三雕：物体 ID 使得计数成为可能（最终 ID 即总数），也使得跟踪成为可能（跨帧的相同 ID 表示同一物体），同时排序规则（先按时间/图像索引，再按 x、y 坐标）确保输出结构化。与现有方法的本质区别在于：传统方法要么只做图像定位（如 PixMo），要么只做视频分割（如 Sa2VA），要么使用闭源模型蒸馏数据；Molmo2 则在完全开放的框架下，用统一的点级输出格式同时支持图像指向、视频指向、视频计数和视频跟踪四种能力，且这些能力通过训练数据的精心混合而相互促进。
方法步骤详情
Molmo2 的完整流程可分为数据构建和模型训练两大阶段。数据构建阶段包含九个新数据集的采集：（1）Molmo2-Cap 通过口语化标注收集 104k 视频级和 431k 片段级密集描述，平均每视频 924 词，远超已有数据集（如 LLaVA-Video 的 547 词）；（2）Molmo2-AskModelAnything 由人类标注者编写 140k 视频 QA 对，通过人机协作循环迭代优化答案；（3）Molmo2-CapQA 和 SubtitleQA 利用自身训练的描述模型生成约 130 万合成 QA 对；（4）Molmo2-VideoPoint 收集 65 万条视频指向查询，覆盖物体、动物、动作、引用表达等 8 类；（5）Molmo2-VideoTrack 收集基于点的物体跟踪数据，包含 3.6k 视频片段和 15k 复杂语言查询；（6）多图数据集支持跨图像指向和文档理解。模型训练阶段：预训练使用 60% 图像描述 + 30% 图像指向 + 10% NLP 数据，学习率采用余弦衰减到峰值的 10%；SFT 阶段按表 1 的采样率混合所有数据，使用打包算法将多个样本合并为 16384 token 的序列；长上下文 SFT 将序列长度扩展到 36864，使用 8 GPU 的上下文并行和 Ulysses 注意力机制。推理时使用 384 帧和贪心解码，人类评估和描述任务使用 top_p=0.95、temperature=0.7。
技术新颖性
Molmo2 的技术新颖性体现在多个层面。首先在数据层面，这是首个完全不使用专有 VLM 的大规模视频多模态数据集，其描述收集流程（口语化转录 + 帧级 Molmo 标注 + LLM 合并）是全新的，产生的描述密度（平均 924 词/视频）是此前最密集数据集的 1.7 倍。其次在模型层面，点级坐标格式的设计使得单一输出格式同时支持指向、计数和跟踪，避免了为不同任务设计不同输出头的复杂性。在训练技术层面，消息树编码配合自定义注意力掩码实现了高效的多标注样本处理（平均 3.8 个样本打包到一个 16384 序列中，15 倍效率提升），这是首次在 VLM 中实现如此细粒度的打包。此外，视频帧使用 3x3 池化（图像使用 2x2）降低 token 数量，以及在 SFT 中 30% 的指向图像使用 24 crop 而非默认的 8 crop 来确保指向能力泛化到高分辨率图像，这些细节设计都体现了对实际部署场景的深入考虑。
实验结果
Molmo2 在多个维度上取得了令人瞩目的结果。在短视频理解方面，Molmo2-8B 在 12 个视频基准上的平均分为 63.1，超越所有开源权重模型（Qwen3-VL-8B 为 59.5），在 MVBench 上达到 75.9（Qwen3-VL-8B 为 68.7），在 MotionBench 上达到 62.2（Qwen3-VL-8B 为 56.9）。在视频计数方面，Molmo2-8B 在 BURST-VideoCount 上达到 60.8% 准确率，显著超越 Qwen3-VL-8B 的 42.0%；在 Molmo2-VideoCount 上达到 35.5%，对比 Qwen3-VL-8B 的 29.6%。在高计数范围（25-60 个物体）中，Qwen3-VL 准确率为 0%，而 Molmo2 超过 10%。在视频指向方面，Molmo2-8B 的 F1 分数为 38.4，远超 Gemini 3 Pro 的 20.0 和 Qwen3-VL-8B 的 1.5。在视频跟踪方面，Molmo2-4B 在 MeViS valid 上达到 63.3 的 J&F，大幅超越 VideoMolmo-7B 的 53.9 和 Sa2VA-8B 的 46.9；在 ReasonVOS 上达到 61.9，超越 Sa2VA-8B 的 55.5。在图像基准上，Molmo2-8B 在 11 个基准的平均分为 76.3，超越 Qwen3-VL-8B 的 75.9，其中在 VQA v2.0 和 RealWorldQA 上达到开源最优。在 Point-Bench 图像定位基准上，Molmo2 以 68.7 的平均分超越所有模型，包括专用定位模型 Poivre（67.5）。人类偏好评估中，Molmo2-8B 的 Elo 评分为 1057，排名第五，超越 GPT-5（1031）和 Claude Sonnet 4.5（1008），在开源模型中仅次于 Qwen3-VL-8B（1054）但差距很小（53% 胜率）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 短视频理解 (12 基准平均) | Average | Molmo2-8B: 63.1 | Qwen3-VL-8B: 59.5 | +3.6 |
| MVBench | Accuracy | Molmo2-8B: 75.9 | Qwen3-VL-8B: 68.7 | +7.2 |
| BURST-VideoCount | Accuracy | Molmo2-8B: 60.8 | Qwen3-VL-8B: 42.0 | +18.8 |
| Molmo2-VideoCount | Accuracy | Molmo2-8B: 35.5 | Qwen3-VL-8B: 29.6 | +5.9 |
| 视频指向 (Molmo2-VP) | F1 | Molmo2-8B: 38.4 | Gemini 3 Pro: 20.0 | +18.4 |
| MeViS 视频跟踪 | J&F | Molmo2-4B: 63.3 | VideoMolmo-7B: 53.9 | +9.4 |
| ReasonVOS 视频跟踪 | J&F | Molmo2-8B: 65.8 | Sa2VA-8B: 55.5 | +10.3 |
| Point-Bench 图像定位 | Average | Molmo2-8B: 68.7 | Poivre-7B: 67.5 | +1.2 |
| 图像基准 (11 基准平均) | Average | Molmo2-8B: 76.3 | Qwen3-VL-8B: 75.9 | +0.4 |
| 人类偏好评估 | Elo | Molmo2-8B: 1057 | GPT-5: 1031 | +26 |
局限与改进
论文作者坦诚地承认了多项局限。首先，视觉编码器 SigLIP 2 使用了闭源数据训练，尽管 LLM 可以选择完全开放的 OLMo 3，但 ViT 部分仍无法做到完全开放。其次，数据生成过程中使用了闭源的纯文本 LLM（如 Claude Sonnet 4.5 用于生成初始答案），虽然避免了使用闭源 VLM 造成的循环依赖，但仍降低了数据管线的透明度。在视频定位方面，模型有时会生成退化输出，如在单帧上产生一长串点或对每一帧输出相同的点，这在高频物体或长视频上尤为常见。视频定位的一致性远不如图像定位——没有模型在计数或指向指标上超过 40%，而图像模型在 PointBench 上通常达到 70-90%。长视频（3 分钟以上）的定位支持有限，因为训练数据主要限于该长度。在跟踪方面，生成的轨迹有时会在目标物体上改变点的位置，这可能是由于数据生成管线未能确保点在每一帧中一致地放置在目标物体上。在描述任务上，Molmo2 使用贪心解码生成超长视频描述时有时会出现重复文本，这是 LLM 的已知问题，但有限的描述训练数据和极长的输出长度加剧了这一现象。在 NLP 基准上，Molmo2 在 MBPP+ 编程基准上有一定下降（Molmo2-8B 为 57.5 vs Qwen3-8B 的 62.2），反映了多模态训练对纯文本能力的轻微侵蚀。
独立分析的弱点
从独立分析的角度，Molmo2 存在几个值得关注的弱点。第一，视频描述的重复文本问题不仅影响用户体验，还可能在下游任务（如视频检索）中引入噪声。改进方向包括引入重复检测惩罚机制（如在解码时增加频率惩罚）或在训练数据中加入更多短描述样本来平衡输出长度。第二，长视频定位能力的缺失是一个实际部署的重大瓶颈。许多真实应用场景（如监控、体育分析）需要处理数分钟甚至数小时的视频，而当前模型的定位训练数据主要限于 3 分钟以内。改进方向包括开发自适应 fps 采样策略以确保标注对齐，以及收集更长视频的定位数据。第三，视频指向和跟踪中的退化输出（重复点、长线段）表明模型在面对困难场景时缺乏「不确定就不输出」的机制。可以考虑引入一个显式的置信度估计模块，或在训练数据中加入更多负样本（即「无法定位」的示例）。第四，Molmo2-O-7B（基于 OLMo 3 的版本）在大多数基准上明显落后于基于 Qwen3 的版本（59.7 vs 63.1 的视频平均分），说明完全开放的 LLM 骨干仍有较大差距，开源社区需要持续投入基础语言模型的研发。
未来方向
论文和基于论文成果可延伸的未来方向包括以下几个方面。首先，作者呼吁开源社区开发开放数据训练的视觉编码器来替代 SigLIP 2，这是实现完全开放 VLM 的最后一块拼图。其次，长视频理解是一个明确的改进方向——论文的长上下文 SFT 仅训练 2k 步，增加训练预算和更长的训练数据有望进一步提升长视频性能。第三，将定位能力扩展到更多模态（如音频-视频联合定位、3D 空间定位）是有价值的研究方向，因为 Molmo2 的点级坐标格式天然可以扩展到三维空间。第四，基于 SlowFast 编码的测试时缩放（test-time scaling）实验表明，使用查询相关的帧选择策略（SF-query）可以用 43% 更少的视觉 token 匹配 224 帧的性能，这为计算高效的长视频推理提供了有前景的方向。最后，将 Molmo2 的数据构建方法（口语化标注、人机协作、自举描述模型）应用到其他语言和文化背景的视频数据集构建中，是推动多语言视频 AI 的可行路径。
复现评估
Molmo2 的可复现性在当前多模态研究中属于最高水平。论文承诺开放三个版本的模型权重（4B/8B 基于 Qwen3，7B 基于 OLMo 3）、完整的训练代码和所有九个新数据集。代码已在 GitHub（github.com/allenai/molmo2）公开，数据集也在 HuggingFace（Molmo2 Data）发布。训练资源方面，8B 模型的完整训练（预训练 + SFT + 长上下文）约需 12,200 GPU 小时（以 H100 计），换算成本在数万美元量级，对学术实验室而言可行但需要一定资源。SFT 阶段使用 128 张 GPU 训练约 63 小时，预训练使用 64 张 GPU 训练约 12 小时。论文还提供了详细的超参数表（表 12）和完整的数据集列表（表 13），包括每个数据集的采样率、样本数和来源。需要注意的是，预训练阶段使用了 PixMo 数据集（Molmo 的数据），如果要从零复现需要先获得这些数据。此外，SigLIP 2 视觉编码器虽非开源训练数据，但其权重是公开可用的，不构成复现障碍。总体而言，具备 128 张 H100 级别资源的研究团队可以完整复现此工作。
论文图表
