证据支撑的视频问答：用密集时空分割证据实现可验证推理

要求视频问答模型同时输出答案、时间片段与密集跟踪分割掩膜三类证据

前置知识

视频大语言模型 (Video LLM)

将大语言模型扩展到视频多模态输入的模型，如 Qwen3-VL、Gemini-2.5、InternVL 等，能理解视频并生成文本回答，但通常不输出像素级定位结果。

本文研究的核心对象，所有被评测的 General Video LLM 都属于此类，理解它们'只答不证'的黑箱特性是把握论文动机的关键。

时空定位 / 视频分割 masklet

在视频的每一帧为指定物体生成像素级分割掩膜，并在时间维度上连续跟踪，形成一组 'masklet'。本文要求按 6 FPS 密集标注，类似 DAVIS 数据集和 SAM-2/SAM-3 的输出。

E-VQA 区别于传统 VQA 的本质就是把这种密集跟踪的 masklet 作为答案三元组中的'空间证据'，是理解方法与基准设计的前提。

J&F 指标

视频目标分割的标准评测指标，J 衡量区域相似度（类似 IoU），F 衡量轮廓准确度，两者联合记为 J&F。本文用它评估空间证据掩膜质量。

Table 2/4/5 都大量使用 J&F，不看懂这个指标就无法判断各模型空间定位能力的强弱。

时间证据与 tIoU / IoP

时间证据是若干不重叠的时间段 $E_t = \{[start_i, end_i]\}_{i=1}^N$；评测用 tIoU（时间交并比）和 IoP（Intersection over Prediction）衡量预测片段与真值的重合度，t-mean 为其均值。

这是答案三元组的第二维证据，是论文 Table 2 的核心评测维度之一。

研究动机

当前 Video LLM 在视频问答上表现亮眼，但它们本质是黑箱——只给出文本答案，缺乏可验证的视觉定位。现有可解释性工作要么依赖文本链式推理（CoT），要么只在稀疏关键帧上画几个边界框，难以捕捉遮挡、非刚性形变（液体、电线）、壳游戏中物体身份穿越等复杂视频动态。更严重的是，作者在评测中发现一个'解耦'现象：高 QA 准确率并不等于真正的视觉感知能力。例如在 ST-Evidence-MCQ 上，许多开源模型（如 LLaVA-OV、InternVL、Sa2VA）在空间证据选择上的准确率徘徊在随机猜测水平（约 23%–27%，随机基线 25%），即便它们 QA 得分并不低。这意味着模型可能靠语言先验或幻觉蒙混过关，错误时根本无法溯源，这在自动驾驶、医疗、人机协作等高风险场景下不可接受。

本文的目标是本文的目标是提出证据支撑的视频问答（Evidence-Backed Video QA, E-VQA）这一新任务，强制模型在回答时输出一个可验证的三元组 $(A, E_t, E_s)$：语义答案 $A$、支撑它的时间片段 $E_t$、以及密集跟踪的空间分割掩膜 $E_s$。围绕该任务，作者要(1)构建首个经人工核验的 ST-Evidence 基准，提供生成式（Gen）和判别式（MCQ）两种评测变体；(2)用全自动流水线构建 16 万规模的指令微调数据集 ST-Evidence-Instruct，弥合纯语义 QA 与纯定位数据之间的鸿沟；(3)在 UniPixel 基础上微调出一个强基线，证明把高层推理与像素级定位联合训练能显著提升证据支撑能力。

与已有工作不同的是，本文的独特切入角度在于两点本质区别。第一是'证据定位'而非'答案定位'：以往工作主要定位'谁是答案所指的物体'，而 E-VQA 要求定位'逻辑上导致该答案的视觉线索'——例如问'人为什么摔倒'，需要定位梯子后滑这一因果线索，而不是某个静态对象。第二是'密集'而非'稀疏'表示：多数现有基准只在关键帧上给稀疏框或粗时间片段，而 E-VQA 要求 6 FPS 的密集跟踪 masklet 作为最终输出的正式组成部分（而非中间 scratchpad），以此把语言逻辑与可验证的视觉事实绑定起来。这种'答案+证据'耦合的表述方式是它与 NeXT-GQA、V-STaR、TVQA+ 等已有工作的根本分野。

核心方法

整体思路是先'定义严苛任务逼出问题'，再'造数据补能力'。直觉上，如果模型必须为答案配上像素级证据，就不能再靠语言先验作弊。技术路线分三块：(1)任务形式化——给定视频 $V$ 和问题 $Q$，模型须输出三元组 $(A, E_t, E_s)$，其中 $E_t=\{[start_i,end_i]\}_{i=1}^N$ 为非重叠时间段，$E_s$ 为关键物体的时空掩膜；(2)基准 ST-Evidence 经'采样-标注-核验'三阶段半自动流程构建，从 NeXT-QA、Perception Test、STAR、CLEVRER、Ego4D、ViCaS 取材，人工标注时间片段和 6 FPS 的 masklet；(3)用两条全自动流水线把现成数据转成 16 万训练样本，最后在 UniPixel-3B/7B 上做 LoRA 微调，联合优化下一 token 预测损失与掩膜解码损失。

核心创新是把'密集时空 masklet'提升为答案的正式组成部分，从而把高层语义推理与底层像素定位强行耦合。这与已有 Grounded Video LLM（如 Sa2VA、UniPixel）有本质区别：后者把定位和 QA 当作两个独立任务，或仅把定位当作提升文本准确率的中间 scratchpad；E-VQA 则要求最终的、可作为'证明'的像素级证据轨迹。第二个关键创新是双向自动化数据流水线——既从'已有掩膜生成 QA'（Grounding-to-Semantics），也从'已有 QA 生成掩膜'（Semantics-to-Grounding），靠推理模型与定位模型分工协作来弥合两者之间的领域鸿沟，从而以低成本获得对齐的 $(Q,A,E_t,E_s)$ 四元组。

方法步骤详情

方法分四步。(1)基准构建：先用 VLM 过滤出清晰、时长 5–200 秒、证据不跨全视频也不在单帧的样本，再由人工专家标时间片段与 6 FPS masklet，最后由博士级复核员复审。(2)Pathway 1（掩膜转 QA）：针对 ViCaS 这类已有人工掩膜和短语定位的数据，用 Qwen3-VL 和 Gemini 各生成 3–4 个候选 QA，置信度 <35 或格式错误者丢弃，再用 Gemini-2.5-Pro 做文本核验，时间证据由 Qwen3-VL 在 4 FPS 下预测。(3)Pathway 2（QA 转掩膜）：先用 Qwen3-VL-235B-A22B 识别关键物体并给出时间戳与指代表达，要求用它生成的答案与真值匹配才接受（最多重试 5 次）；再用 Qwen3-VL 预测边界框，过滤面积比 <1% 或 >90% 及长宽比异常的预测；最后用 SAM-3 在整段视频上传播密集掩膜，按 IoU>0.9 去重。(4)训练：在 UniPixel-3B/7B 上用 LoRA 微调视觉编码器与 LLM，掩膜解码器全参训练，按 UniPixel 配方混入已有分割与理解数据以防过拟合。

技术新颖性

新颖性体现在任务、基准、数据、模型四个层面。任务层面，首次把密集时空 masklet 作为答案三元组的正式证据维度，明确区分'证据定位'与'答案定位'。基准层面，ST-Evidence 是首个同时覆盖生成式（ST-Evidence-Gen，2706 问/2548 视频）与判别式（ST-Evidence-MCQ，1298 问/348 视频）且经人工核验的像素级 grounding 基准。数据层面，16 万规模的 ST-Evidence-Instruct 通过双向流水线把语义数据与定位数据对齐，并用 SAM-3 传播、5 次重试与文本核验多重质量门控。模型层面，实验设计上有两处巧妙消融：用'证据区域打码 vs 非证据区域打码'证明标注确为证据，用'人工指代表达喂给代理分割器得 J&F=44.7'反推瓶颈在 LLM 推理而非分割器，这组对照让结论很有说服力。

**Fig. 2**: Overview of automated pipelines for ST-Evidence-Instruct

实验结果

核心发现可归纳为四点。(1)QA 准确率与定位能力解耦：Table 3 中 Video-LLaMA3-7B 与 LLaVA-OV-1.5-8B 的 QA 相近（67.64% vs 69.03%），但时间证据准确率相差 17.18 个百分点；多数开源模型空间证据仅在 23%–27%，逼近随机基线 25%。(2)单纯堆参数无效：Table 2 显示 Qwen2.5-VL 从 3B 到 72B，QA 略升但时空证据提升甚微，而 Qwen3-VL-4B 几乎全面超越 Qwen2.5-VL-72B，说明架构与数据才是关键。(3)联合微调大幅提升：Ours-7B 相比 UniPixel-7B，t-mean 从 1.9 升到 29.1（+27.2），J&F 从 40.3 升到 54.1（+13.8）；3B 版 t-mean 26.9 超过 Qwen2.5-VL-72B。(4)消融证明标注有效：证据打码使 Gemini-2.5-Flash 的 QA 从 81.32 跌到 61.12（-20.20），非证据打码仅跌 4.89；流水线直接评测 J&F 达 62.8，超过 7B 与 235B 基线。

**Table 1**: Statistics of proposed datasets for the E-VQA task

**Table 2**: Performance on ST-Evidence-Gen

**Table 3**: Performance on ST-Evidence-MCQ

**Table 4**: Performance on segmentation and understanding benchmarks

**Table 5**: QA accuracy with corrupted regions

**Fig. 3**: Comparison of models on ST-Evidence-Gen

查看结构化数据

任务	指标	本文	基线	提升
ST-Evidence-Gen（生成式时空证据）	t-mean / J&F	Ours-7B：t-mean 29.1，J&F 54.1	UniPixel-7B：t-mean 1.9，J&F 40.3；Gemini-2.5-Pro J&F 44.0	相比 UniPixel-7B，t-mean +27.2，J&F +13.8，且空间证据超越所有通用与开源 Video LLM
ST-Evidence-MCQ（判别式时空证据）	QA/T-Evidence/S-Evidence 准确率	最佳开源 Qwen3-VL-235B：QA 81.59，S-Evidence 86.90	随机猜测 20/25/25；多数开源模型 S-Evidence≈23%–27%	揭示 QA 与定位解耦，235B 模型 S-Evidence 远超其他开源基线
视频分割与通用理解	J&F / MVBench 准确率	Ours-7B：MeViSu 62.5、Ref-DAVIS17 77.8、ReVOS 64.2、MVBench 65.6	UniPixel-7B：61.7 / 76.4 / 63.9 / 64.3	分割与理解任务上几乎全面提升，证明微调未损害通用能力

局限与改进

作者承认的局限包括：基准的人工标注极为费时费力，空间证据主要靠 ViCaS 补充；通用 Video LLM 评测空间证据时必须借助代理分割器（UniPixel-3B），引入额外误差。作者用'人工指代表达得 J&F=44.7'缓解了这一担忧，但代理链路本身仍是评测局限。我自己观察到三点：(1)时间与空间证据的绝对分数仍偏低——最强的 Ours-7B 的 t-mean 也只有 29.1，距真正可用还远，论文标题里的'可验证'更像方向而非已达成的能力；(2)ST-Evidence-Instruct 的自动流水线高度依赖 Qwen3-VL-235B 与 Gemini 的质量，存在强者通吃的循环依赖，错误会沿流水线放大；(3)评测主要面向短视频（5–200 秒）和受限物体类别，长视频、第一人称极端视角或细粒度非刚性物体的证据定位是否成立尚未检验。

独立分析的弱点

第一，时间证据偏弱：Ours-7B t-mean 仅 29.1，连最强的 Gemini-2.5-Pro 也只有 49.9，因果时序定位远未成熟，改进方向是引入显式时间监督或时间对齐的 token-frame 交错训练（论文已暗示 Qwen3-VL 的'timestamp-frame'机制是加分项）。第二，对代理模型的依赖：通用 LLM 空间证据靠 UniPixel-3B 代理，链路误差难以分离，改进方向是训练原生支持视频 masklet 输出的统一架构，省去两步代理。第三，数据生成的循环依赖：16 万数据由 Qwen3-VL-235B 与 Gemini 生成，再用其评测，可能高估相对优势，改进方向是引入与训练模型无关的开源标注或更多人工核验。第四，任务难度门槛过高导致基线集体偏低：当前 masklet 在 6 FPS 全程跟踪的严格要求下，连专用 Grounded LLM（Sa2VA 时间证据 mIoU=0.0）都完全失败，可考虑提供分级难度（稀疏→密集）以更细粒度刻画进展。

未来方向

作者明确指出，单纯 scale 不够，E-VQA 的进步需要在架构、数据质量、训练目标上做根本性创新。可延伸方向包括：(1)端到端训练的 Grounded Video LLM，让 LLM 直接输出时空 masklet 而非依赖代理分割器；(2)将证据 grounding 与强化学习推理结合，借鉴 Video-R1/Time-R1 的链式思路，但把奖励建立在像素级证据上；(3)扩展到更长视频、第一人称视频与细粒度非刚性物体（液体、线缆）的证据跟踪；(4)把'证据打码→QA 下降'这类因果干预发展成标准评测协议，统一衡量 grounding 的真实价值；(5)探索证据的层次化表示，从稀疏框到关键帧掩膜再到 6 FPS 密集 masklet，构建渐进式基准。

复现评估

复现友好度较高：论文明确声明代码与数据开源于 https://github.com/SalesforceAIResearch/EVQA ，并给出 Table 1 的完整数据来源（NeXT-QA、Perception Test、STAR、CLEVRER、Ego4D、ViCaS）与规模。训练细节较透明——基于 UniPixel-3B/7B，LoRA 微调视觉编码器与 LLM、全参训练 SAM-2.1 掩膜解码器，损失为下一 token 预测损失与掩膜解码损失之和。数据流水线所用的关键组件（Qwen3-VL-235B-A22B、Gemini-2.5、SAM-3）均为商用或开源模型，可获取。主要复现难点在于：自动流水线依赖大模型 API，算力与调用成本不低；16 万数据的生成需多模型协作与多重过滤；而 ST-Evidence 基准本身依赖人工标注，第三方难以从零重建，需等待官方释出。

证据支撑的视频问答：用密集时空分割证据实现可验证推理 Evidence-Backed Video Question Answering