Open-o3-Video-v2：以可验证时空证据进行搜索、定位与推理的视频智能体 Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence
把视频推理变成多轮“找证据-接地证据-推理”的智能体过程，RL奖励每次检索的证据增益
前置知识
GRPO（组相对策略优化）
一种在线强化学习算法：对每个提示采样一组（如8条）完整回答，用组内奖励的相对优势（减均值、按标准差归一）作为策略梯度信号，从而省去额外的价值网络。因 DeepSeek-R1 而流行，verl 等框架已将其广泛用于多模态推理训练，支持多轮工具调用的轨迹级优化。
本文提出的 CS-GRPO 就是在 GRPO 之上加入“证据状态”相关的轨迹级奖励。理解 GRPO 的组采样与优势估计机制，才能明白 CS-GRPO 到底改了什么、为什么有效。
时空定位（Spatio-temporal grounding）
在视频中同时回答“什么时候”与“在哪里”：前者定位事件发生的时间区间，用时间 IoU（tIoU）评估；后者在对应帧上框出支撑对象，用视觉 IoU（vIoU）评估。V-STaR 等基准按“答案-时间-空间”两种推理顺序（Chain1/Chain2）联合评测这两个维度。
本文的核心产出就是让模型在推理链中显式写出 时间戳 与 对象坐标 形式的可验证证据，所有主实验都以时空定位指标衡量推理是否真的有据可查。
Thinking with Images / agentic 工具调用
让模型在推理过程中主动调用视觉工具（裁剪、放大、时间重采样）获取新观察，把工具返回的帧插入上下文继续推理，而不是一次性看完固定采样的帧。代表工作包括 Pixel Reasoner、Video-o3、VideoZoomer 等，通常配合 格式与多轮对话实现。
本文把这一范式与证据接地结合：工具调用不只决定“看哪里”，返回的观察还必须被落成时间戳加边界框的显式证据参与后续推理，这正是区别于前作的出发点。
SFT + RL 两阶段后训练与可验证奖励
先用监督微调教会模型输出格式与行为模式，再用带可验证奖励的强化学习打磨：奖励通常含答案正确性、格式合规项，本文还引入“接地思考”奖励——解析推理中引用的时间戳与框，与标注计算 tIoU/vIoU 打分，使中间证据可直接被优化。
论文的完整训练流程（STGR-v2-CoT-135K 监督微调 + CS-GRPO 强化学习）、v1 的自适应时间邻近与时间门控奖励设计，都建立在这一范式上，是读懂实验消融的前提。
mAM 与 mLGM 复合指标
V-STaR 基准提出的两个综合分数：mAM 与 mLGM 联合衡量“答案答对”与“时空证据定位准确”，综合答案准确率、时间 IoU、视觉 IoU 及两种推理顺序（what-when-where 与 what-where-when）的表现，防止模型只刷答案准确率而不给出可靠证据。
论文最重要的结论数字（如 v2-4B 的 40.4% mAM、56.3% mLGM）都基于这两个指标，它们直接刻画“答得对且证据可验证”这一核心目标。
研究动机
现有视频 MLLM 虽能总结长视频、回答动态事件问题，但在快速运动、频繁换景、主体反复进出画面的复杂场景中仍难做可靠细粒度推理——决定性线索可能只出现一瞬间或仅占画面极小区域，稀疏采样很容易漏掉。更深层的困难有三个：其一，监督数据稀缺且割裂，视频 QA 数据集通常不含视觉证据标注，定位数据集只有部分信号，几乎没有资源同时涵盖时间线索、对象框、多轮工具交互与对齐的推理链；其二，时空定位与思维链容易脱节，模型给出的时间戳、框与理由可能互相矛盾，仅靠最终答案监督或独立优化的定位信号无法保证每步推理都被正确的时刻和对象支撑；其三，单次观察常常不够。前作 Open-o3-Video 把时间戳和对象框写进推理链实现了可验证证据（在 V-STaR 上 mAM/mLGM 比 Qwen2.5-VL 提升 14.4%/24.2%），但只能看初始稀疏采样帧，关键证据一旦漏采便无法挽回；VideoZoomer、Video-o3 等智能体方法虽能检索片段，却很少把检索到的观察与细粒度对象证据关联，任务级奖励也无法为“每次调用是否带来有用新信息”提供信用分配。
本文的目标是本文目标是把视频推理形式化为一个统一的“智能体证据接地”过程：模型在推理中自主识别缺失信息、决定何时需要补充观察，调用 crop_video 工具按 coarse/medium/fine 三档密度检索指定时间段的更密集帧，把返回观察接地为查询相关的时刻与对象（时间戳+边界框）写入推理历史，使新证据成为后续推理的显式前提，可据此修订解释、继续搜索或积累足够证据后作答。为此需要三件事：构建带多轮工具交互标注的大规模训练数据（STGR-v2-CoT-135K 含 52K 多轮轨迹、STGR-v2-RL-13K 用于强化学习）；设计能对每次工具调用的“证据增量”进行信用分配的 RL 算法（CS-GRPO）；最终在 Qwen3-VL-4B/8B 上同时提升时空接地问答、通用视频理解与时序定位，并保证答案与证据一致可验证。
与已有工作不同的是，本文的独特切入是把“主动获取观察”与“对象级证据接地”整合进同一条推理轨迹，而非两条平行路线。作者的关键论断是：检索到一个相关时间区间只决定“去哪看”，可靠推理还要求模型指出返回观察中“哪个时刻、哪个对象”支撑了哪一步推断。与 v1 只能对固定帧一次性接地不同，v2 让每次工具返回的新证据成为显式前提参与演化中的推理；与 Video-o3 等只优化任务级结果的智能体方法不同，CS-GRPO 显式维护随交互演化的“累积证据状态”，用状态转移奖励线索覆盖与步进增益、惩罚冗余/重复/碎片化检索，从机制上区分了“去哪里看”（工具奖励 $r_{tool}$）与“看到的如何接地”（思考奖励 $r_{thk}$）两类互补监督。Table 1 的能力矩阵清楚呈现了这一差异化定位：唯一同时具备自适应时间重采样、显式时间证据、显式对象证据与原生多轮智能体交互的方法。
核心方法
直觉上，模型像一个会拖进度条看视频的助手：先粗略浏览一遍（初始稀疏采样），发现看不清或没看到的地方，就“拖动进度条”反复观看某个时间段的高密度帧，边看边记下“几点几分、什么东西在画面什么位置”作为证据，最后基于累积证据作答。技术路线分四步。第一步任务形式化：视频 $V=\{(t_i, I_i)\}$，稀疏采样器给出初始观察 $O_0=S_0(V)$，策略生成轨迹 $\tau=(z_1,o_1,\ldots,z_K,o_K,z_{K+1})$，每轮 $z_k$ 含 $\langle think\rangle$ 与 $\langle tool\_call\rangle$，工具调用 $u_k=(s_k,e_k,d_k)$ 指定起止时间与采样密度 $d_k\in\{coarse, medium, fine\}$；$\langle think\rangle$ 中可写证据声明 $\varepsilon_m=(\hat{t}_m, c_m, b_m)$，即时间戳、对象名与 1000×1000 坐标系下的边界框。第二步数据：从 Seeker-173K 经四阶段流水线构造 52K 多轮 agentic 轨迹，并入 135K 的 SFT 语料，再筛出 13K 有效 RL 样本。第三步用 ms-swift 对 Qwen3-VL-4B/8B 做全参数 SFT 一个 epoch。第四步在 verl AgentLoop 上跑 CS-GRPO 多轮强化学习，总奖励由答案、格式、接地思考、工具使用四项加权组成。
核心创新是 CS-GRPO 对“证据获取”的序列信用分配。定义第 $k$ 次有效调用后的累积线索覆盖状态 $\gamma_k = \frac{|\cup_{l=1}^{k} p_l \cap \cup_{j=1}^{J} g_j|}{|\cup_{l=1}^{k} p_l \cup \cup_{j=1}^{J} g_j|}$，即已检索区间 $\{p_l\}$ 与标注线索区间 $\{g_j\}$ 的多段时间 IoU，同时惩罚无关时间覆盖。基于状态序列定义：终局线索奖励 $r_{clue}(\tau)=\gamma_K$ 评价最终覆盖；步进增益 $r_{gain}=\sum_{k=2}^{K}\mathbb{I}[\gamma_k-\gamma_{k-1}>0.1]$ 奖励带来新线索的调用；再以 $r_{budget}=\max(0, N_{call}-3)$ 惩罚超出三次的调用（标注线索通常三次内可找到）、$r_{repeat}$ 统计 tIoU$>0.7$ 的重复区间对、$r_{frag}$ 惩罚三段以上连续相邻区间的“顺序扫描”行为、$r_{drop}=\sum_{k=2}^{K}\mathbb{I}[\gamma_{k-1}-\gamma_k>0.1]$ 惩罚稀释已有证据的调用，合成 $r_{tool}=\mathrm{clip}_{[0,1]}(r_{clue}+0.1 r_{gain}-0.1 r_{budget}-0.1 r_{repeat}-0.1 r_{frag}-0.05 r_{drop})$。与只看最终答案的任务级 GRPO 有本质区别：CS-GRPO 使“每次调用是否有用”成为历史相关、可计算的信号，并与监督时间戳/框正确性的 $r_{thk}$ 分工互补。
方法步骤详情
完整流程分数据与训练两块。数据构造四阶段（源自 Seeker-173K）：(1) 严格过滤——Qwen3-VL 从 8 帧稀疏输入做 5 次 rollout，删除全答对的简单题，也删除提供标注线索片段仍答不对的题，确保保留的线索确实支持答案；(2) 证据标注——Qwen3.5 抽取问题相关对象及其时间跨度，SAM3 在线索帧上生成框，删除覆盖超 80% 画面的框，每对象保留两个最高置信框；(3) agentic CoT 重写——Gemini-2.5-Pro 用已验证线索和框改写原始推理，形成“稀疏观察推理→工具调用→返回帧→v1 格式接地推理→答案”的完整轨迹；(4) 质检——框准确性、时间戳/对象/框三者匹配、工具调用区间合法性、推理与视觉证据语义一致性四道检查，另抽 500 例人工审计（阶段2后 94.0%、阶段3后 91.6% 合格，Cohen's κ 分别 0.88/0.84）。最终语料：STGR-v2-CoT-135K 含 52K 多轮 + 7K 单轮接地 QA + 7K 工具辅助 + 37K 时序定位 + 4K 空间定位 + 16K 通用 QA + 12K 密集描述；STGR-v2-RL-13K 由 40% v1 数据 + 50% agentic 工具数据 + 10% TimeLens 组成，只保留 5 次 rollout 中有对有错的信息量样本。训练：SFT 从 Qwen3-VL-4B/8B-Instruct 全参数训练 1 epoch，学习率 $5\times10^{-6}$，初始观察 1 FPS ≤96 帧；CS-GRPO 初始 ≤32 帧、裁剪返回 ≤8/16/32 帧、每 prompt 8 条 rollout、学习率 $1\times10^{-6}$、actor KL 系数 0.001，奖励权重 $(w_{acc},w_{fmt},w_{thk},w_{tool})=(1.0,0.1,0.1,0.8)$。推理时初始 1 FPS ≤96 帧，平均仅用 2.2 轮助手回合、约 120 帧。
技术新颖性
技术新颖性体现在四个层面。形式化层面：首个把“时间裁剪式主动观察”与“对象级可验证证据接地”统一进一条多轮推理轨迹的框架，seek–ground–reason 三位一体——Table 1 的对比矩阵显示，Open-o3-Video 有时间+对象证据但无原生智能体交互，Video-o3/VideoZoomer 等有自适应重采样却缺显式证据引用，本文是唯一四项全占的方法。奖励层面：CS-GRPO 首次用多段 tIoU 定义随交互演化的累积证据状态 $\gamma_k$，并以状态差分做步进信用分配，把“证据增益”变成显式 RL 信号，同时用四种惩罚治理无意义工具调用——这是对 GRPO 任务级奖励的结构性扩展，而非简单加权。数据层面：STGR-v2-CoT-135K 是首批大规模多轮 agentic 接地轨迹语料之一，且通过“删简单题+验证线索支持答案+SAM3 框标注+四道质检”保证轨迹是证据驱动而非仪式化工具调用。工程层面：开源了基于 ms-swift + verl AgentLoop 的多轮视频智能体训练栈，其中工具返回帧作为上下文被 mask、模型 token 作为策略动作，解决了静态单轮训练器无法支持长交替轨迹的问题。
实验结果
主实验覆盖三块。(1) V-STaR 时空接地问答（Table 2）：v2-4B 达 40.4% mAM、56.3% mLGM，比 Qwen3-VL-4B 骨干高 8.5%/12.6%；答案准确率 62.8%（+3.2），Chain1/Chain2 时间 IoU 28.8/30.0（+10.2/+10.8），视觉 IoU 38.8/19.1（+12.0/+11.4）；v2-8B 达 40.7% mAM、56.5% mLGM（比骨干 +12.7%/+22.1%），大幅超过 Gemini-3-Pro 的 29.9%/41.2%，也超过 GPT-4o（26.8%/38.2%）。(2) 通用视频理解与时序定位（Table 3）：v2-4B 在 Video-Holmes 提升 10.7% 至 48.0%、LVBench 提升 7.2% 至 53.2%、VideoMMMU +5.4%、WorldSense overall +4.6%、VideoMME +1.3% 至 66.6%、Charades-TimeLens mIoU +4.2% 至 49.8%、TVGBench 31.3%（超 v1-7B 达 10.5）；v2-8B 在 VideoMMMU 63.0%、Charades-TimeLens 51.1% mIoU。(3) 消融：SFT 贡献 6.3% mAM/9.7% mLGM 但 VideoMME 暂降至 63.7%，CS-GRPO 再加 2.2%/2.9%/2.9% 并恢复通用能力（Table 4）；机制对比中多轮搜索把 V-STaR mLGM 从 47.8 提至 52.3，叠加显式接地再至 56.3（Table 5）；CS-GRPO 比 GRPO 在三个基准高 1.3/1.2/1.5 分（Table 6）。附录分析进一步表明：匹配 120 帧预算下主动检索比均匀采样在 LVBench 高 7.7 分；长视频子集（149 题、中位时长 79 分钟）上 48.3% 超两个基线约 10 分；答对且时空证据同时正确的比例从 11.7% 升至 21.7%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| V-STaR 时空接地问答（What/When/Where 联合） | mAM | 40.4（v2-4B）/ 40.7（v2-8B） | Qwen3-VL-4B 31.9；Qwen3-VL-8B 28.0 | +8.5% / +12.7% |
| V-STaR 时空接地问答 | mLGM | 56.3（v2-4B）/ 56.5（v2-8B） | Qwen3-VL-4B 43.7；Qwen3-VL-8B 34.4 | +12.6% / +22.1% |
| Video-Holmes 多跳线索推理 | 准确率 (%) | 48.0（v2-4B） | Qwen3-VL-4B 37.3 | +10.7 |
| LVBench 超长视频理解 | 准确率 (%) | 53.2（v2-4B）/ 53.9（v2-8B） | Qwen3-VL-4B 46.0 | +7.2 / +7.9 |
| Charades-TimeLens 时序定位 | mIoU (%) | 49.8（v2-4B）/ 51.1（v2-8B） | Qwen3-VL-4B 45.6 | +4.2 / +5.5 |
| LVBench 匹配视觉预算对比（120帧） | 准确率 (%) | 53.2（主动检索） | 均匀采样120帧且禁用工具 45.5 | +7.7 |
| LVBench 长视频子集（149题，中位时长79分钟） | 准确率 (%) | 48.3 | Qwen3-VL-4B 37.6；Video-o3 38.3 | +10.7 / +10.0 |
局限与改进
作者承认并量化的局限：对 LVBench 错误的归因分析显示，约 43% 的错误源于精确时间证据检索与事件选择——例如模型正确定位了进球事件却没找到真正结束比赛的事件；27% 源于对象接地与细粒度感知，包括镜头平移时的实例区分、计数与属性识别错误；约 6% 属于知识型错误，检索到正确人脸仍认不出公众人物（如把 Obama+Trump 误判为 Obama+Putin）；其余为推理不一致。我的补充观察：(1) 交互预算硬性封顶（≤5 轮、每轮裁剪 ≤32 帧），证据分散在多个远距离时段的小时级视频可能仍欠采样，长视频子集上仍有 51.7% 错误；(2) $r_{tool}$ 的线索覆盖项依赖密集的时间标注 $g_j$，无标注任务上只能退化为轻量正则，限制泛化；(3) 证据状态只建模时间维度，空间证据是否覆盖由 $r_{thk}$ 单独监督，两者解耦可能导致“时段对了但目标看不清”仍得高分；(4) SFT 阶段 VideoMME 从 65.3 降至 63.7，说明多轮轨迹模仿存在通用能力折损，依赖 RL 恢复；(5) 增益阈值 0.1、重复阈值 0.7、预算 3 次等均为手工设定，敏感性分析显示稳健但非自适应；(6) 实验仅基于 Qwen3-VL 系骨干，跨骨干泛化未验证。
独立分析的弱点
弱点一：证据状态只覆盖时间维度。$\gamma_k$ 用多段 tIoU 度量“是否看了对的时段”，却不关心画面中的小目标是否被看清——对“关键物体只占画面 1% 区域”的场景，模型可能裁对时段却看不清内容。改进方向：把空间覆盖纳入状态，例如用预测框与线索框的 IoU 定义空间证据增益，或直接采用时空 tube 重叠。弱点二：线索监督依赖密集时间标注。$r_{clue}$ 与 $r_{gain}$ 需要标注线索区间，难以扩展到开放问答与无标注数据。改进：用模型自一致性或 VLM 打分自动构造伪线索区间，或改用答案条件的信息增益（如答案熵下降量）替代时间覆盖率。弱点三：交互预算固定且偏小（≤5 轮、每轮 ≤32 帧），长视频中证据链跨越多个分散时段时会系统性欠采样；且裁剪仅支持时间维度，无空间 zoom-in。改进：自适应终止 + 动态预算，或引入空间裁剪工具与分层记忆。弱点四：数据流水线重，需 SAM3、Qwen3.5、Gemini-2.5-Pro 与四道质检加人工审计，全流程复现成本高。改进：开源自动化标注脚本、用强开源模型替代闭源重写器。弱点五：知识型错误（约 6%）无法靠多看帧解决，应与外部知识检索或参数化知识增强结合，例如接 RAG 工具补充人物身份信息。
未来方向
作者明确提出的方向：构建更长时程的视频智能体，将视觉证据与世界知识结合，在极长视频上执行计数与分析。基于本文成果可自然延伸的方向包括：(1) 把证据状态从时间 IoU 推广到时空 tube 或语义覆盖，使 $r_{tool}$ 直接监督“看到了什么对象”而不仅是“看没看对时段”；(2) 将 CS-GRPO 的状态转移信用分配迁移到其他智能体检索任务（GUI 操作、文档多跳检索、代码库导航），凡可定义“累积信息状态”的场景都适用；(3) 显式证据与测试时扩展结合——v1 已证明基于证据评分的置信度投票比多数投票高 1.0–1.8%，v2 的多轮证据天然适合更精细的答案验证与自校正机制；(4) 证据充分的拒答机制：当累积线索覆盖 $\gamma$ 低于阈值时输出“证据不足”而非强行作答，提升可靠性；(5) 在线/流式视频场景下的主动证据获取，边看边决定回看哪段；(6) 与具身智能结合，把 seek–ground–reason 推广到空间导航与操作任务中的视觉证据积累。
复现评估
复现条件总体较好。代码、模型与训练栈已开源（项目页 msalab-pku.github.io/projects/Open-o3-Video-v2；SFT 用 ms-swift、RL 用 verl AgentLoop，均为公开框架），超参、奖励系数、帧预算在 Table 7/8 中完整披露，透明度高。数据方面，STGR-v2-CoT-135K 与 STGR-v2-RL-13K 的构造细节与质检标准写得极细（含 500 例人工审计的合格率与 κ 值），但流水线依赖 SAM3、Qwen3.5、Gemini-2.5-Pro、Qwen3-VL 等模型（含闭源），从零复现数据有一定门槛；若语料随模型发布则可直接使用。算力方面：4B/8B 全参数 SFT 加多轮 RL 在 NVIDIA H100 上完成，论文未披露卡数与训练时长；CS-GRPO 每批 32 prompt × 8 rollout × 多轮视频帧、最大序列长 64K，估计需要数十张 H100 量级，RL 阶段是主要开销。难度评估：用开源模型+数据复现推理结果为“容易”；完整复现两阶段训练需 H100 集群与多轮 RL 工程经验，为“中等偏难”；从零复现数据流水线最难。
论文图表
三栏对比图。左：v1 对固定采样帧做单轮接地推理，在短视频上给出可验证的时空证据（如屈原视频在 9.0s、24.0s 的 <obj>man</obj> 框）。中：v2 通过迭代 crop_video 调用做自适应时间放大（如 325–605s、605–824s 两跳检索），按 seek–ground–reason 流程找到初始帧之外的证据，数出两场篮球赛。右：五个模型在 V-STaR（mLGM/mAM）与六个通用基准上的性能对比条形图。
一图概括 v1→v2 的核心演进：从“单轮固定帧接地”到“多轮主动找证据+接地”，并用数据说明长视频上的收益，是理解全文动机的最佳入口。
能力矩阵：对比 Open-o3-Video、VideoZoomer、Video-o3、VideoTemp-o3、VideoSeeker 与本文 v2 在“自适应时间重采样、显式时间证据、显式对象证据、原生智能体交互”四个维度上的覆盖情况，只有 v2 四项全部具备。
用一张表厘清本文与五类相关工作的差异化定位，直接支撑“整合主动获取与对象级接地才是贡献核心”的论点。
三类失败案例。上：知识不足——检索到相关人脸仍把 Obama+Trump 误认成 Obama+Putin；中：空间证据错误——镜头平移时错误区分与关联实例，把台下女士数成 2 名（真值 1）；下：时间证据错误——把普通得分事件误当成终场得分，答 White number 8（真值 Black number 4）。
作者用失败案例归纳三大短板（世界知识、细粒度实例推理、事件选择），既是局限性分析也是后续工作的路标。