多模态视频理解中的视觉状态跟踪基准测试 Benchmarking Visual State Tracking in Multimodal Video Understanding
VSTAT：834视频1500问题诊断MLLM的视觉状态跟踪能力
前置知识
MLLM（多模态大语言模型）
在LLM语言能力基础上接入视觉编码器，能同时处理图像、视频与文本输入的模型，代表如Gemini-3.1 Pro、Qwen3VL、InternVL3.5、LLaVA-OV-2等。
本文评测的核心对象，全部实验围绕这些模型的视频状态跟踪能力展开。
视觉状态跟踪（Visual State Tracking）
在视频中持续追踪实体、状态、事件随时间演变的能力，如跟踪篮球比分、魔方特定方块位置、打字字符序列等，需整合整段视频而非单帧信息。
本文定义并诊断的核心能力，区别于传统视频问答中的单帧识别或显著时刻推理。
帧采样（Frame Subsampling）
MLLM处理视频时通常从视频流中均匀抽取若干帧（如16/32/64/128帧）输入模型，采样率过低可能使短暂事件丢失而产生歧义。
论文用时间拉伸消融实验排除帧采样歧义这一替代解释，把瓶颈定位到视觉感知本身。
思考模式（Thinking Mode / 思维链）
MLLM在给出答案前先输出中间推理步骤（thinking trace）的模式，类似链式思维CoT，论文发现开启thinking在VSTAT上反而损害表现。
论文的关键反直觉发现之一，揭示更多思考预算在高感知复杂度任务上会增加幻觉。
代理框架（Agentic Frameworks）
基于LLM/MLLM构建的智能体系统，如视频代理AVP或编程代理Codex、Claude Code，能编写视觉推理代码、调用工具、多轮收集证据来解决问题。
论文验证这些前沿代理方法同样无法解决VSTAT，说明瓶颈确在视觉感知而非系统编排。
研究动机
现有视频MLLM评测基准（VideoMME、VideoReasonBench等）大多并不专门测试视觉状态跟踪能力，它们的答案往往能从少数关键帧、显著时刻或可见的终态推断出来，无需持续跟踪状态演变。即使少数工作尝试填补空白，VET-Bench仅含100个壳游戏视频、CP-Bench仅101个立方体计数任务，都局限于单一合成场景。结果是模型在这些基准上的高分并不代表它们能在视频中持续跟踪必要信息，而这恰是机器人操作、辅助代理、监控等真实应用的基础能力。当前最先进MLLM在持续动态理解任务上的真实表现仍是未知数。
本文的目标是构建一个专门诊断MLLM视觉状态跟踪能力的视频基准VSTAT，要求答案无法从单帧或少数显著时刻读出，迫使模型对整段视频流持续感知并整合事件。具体目标包括：覆盖834个合成与真实世界视频片段、配对1500个问题、设计多样化追踪目标（位置/计数/属性）与状态结构（原子/序列/集合/字典）、标注感知复杂度类别（遮挡、相机运动、同质性等），并通过受控实验系统分析为何、何时MLLM会失败，以及代理框架能否缓解这些失败。
与已有工作不同的是，与并发工作相比VSTAT的独特切入在于：(1)首次系统覆盖潜在状态表示的持续跟踪，而非像素级物体跟踪或运动grounding；(2)同时包含合成（450个Blender）与真实世界（304个YouTube+80个自录）视频，规模比VET-Bench大一个数量级；(3)问题刻意规避视觉捷径——答案不可由关键帧或终态推断；(4)提供三轴分类法（元素类型×结构×感知复杂度）支持细粒度诊断；(5)通过文本转录对照、时间拉伸、思维链匹配三类受控实验把瓶颈定位到视觉感知而非推理。
核心方法
直觉上，要测“持续跟踪”能力就必须让任何“偷看几帧”的策略失效。VSTAT据此构建：形式化为给定视频流 $v$ 与查询 $q$，模型 $f$ 需预测答案 $y$，即 $y = f(v, q)$。关键在于 $y$ 不能由单帧或少数显著时刻推断，须对 $v$ 持续感知并整合事件。数据从Blender（450）、YouTube（304）、自录（80）三类来源采集834个含程序化过程的视频片段（解谜、运动、烹饪、打包等），每个片段手工设计多个需追踪整段视频的问题。技术路线为：视频策展→人工QA生成（规避视觉捷径）→三轴标注（状态元素×状态结构×感知复杂度）→人在环验证→基于LMMs-Eval的标准化评测，开源模型在帧预算 $\{16,32,64,128\}$ 内取最优，私有Gemini模型用MEDIUM分辨率。
核心创新是“反视觉捷径”的任务构造与多维诊断分类法。不同于传统基准靠数据量堆砌，VSTAT刻意设计每题使答案必须由整段视频事件累积得到——关键事件可能被遮挡、视觉相似、或分散在多个实体与时刻。配合状态复杂度（元素类型count/location/attribute × 结构atomic/sequence/set/dictionary）与感知复杂度（遮挡/相机运动/同质性/符号解码/多实体归因/事件歧义）的二维标注，使每个失败都能被精确归因。这种“诊断优先于打分”的设计是它与已有基准的本质区别。
方法步骤详情
步骤1-视频策展：用Blender设计9个环境合成450片段，YouTube收集304片段，自录80片段，共834片段。步骤2-QA生成：遵循两原则（避免视觉捷径、查询类型多样），每视频设计多题，共1500题（数值题NQ+选择题MCQ，MCQ含精心设计的干扰项）。步骤3-三轴标注：对每对视频-问题标注状态元素、状态结构、感知复杂度类别并保证分布均衡。步骤4-人在环验证：所有视频、问题、答案、类别标签经人工标注与复核。步骤5-评测：基于LMMs-Eval框架，开源模型扫帧预算{16,32,64,128}取最优（如Qwen3VL-8B取32帧、Molmo2-8B取128帧），私有模型用Gemini MEDIUM分辨率、max_tokens=65536。步骤6-诊断分析：对比原始vs时间拉伸视频、视频vs文本转录输入、思维链与视频流不匹配三类受控实验定位瓶颈。
技术新颖性
技术新颖性体现在三点：(1)诊断式基准设计——通过文本转录对照实验直接证明瓶颈在视觉感知而非推理（文本条件近满分、视频条件跌至随机），是首个用此法定位MLLM视频感知瓶颈的工作；(2)时间拉伸消融实验排除帧采样歧义假说（5秒51.4%→拉伸后53.6%，仅+2.2pp），把“低帧率”解释证伪；(3)对前沿代理框架的系统检验——证明AVP视频代理(43.6%)、Claude Code(37.6%)、Codex(53.4%)均接近随机基线(50.8%)，且思维链不匹配分析揭示三大失败模式（事件识别>50%、实体关联、状态更新）。
实验结果
核心发现分四方面。整体差距：人类达90.5%，而最强MLLM Gemini-3.1 Pro(low)仅44.4%，Gemini-3.0 Flash(low) 39.8%，所有开源模型（最佳LLaVA-OV-2-8B 35.1%）甚至低于Chance-Level(Frequency)基线37.8%，即便LLaVA-OV-2用codec流、Molmo2用像素级物体跟踪数据训练也无显著提升。思考模式反直觉损害表现：Qwen3VL-8B从33.2跌至28.2(−15.1%)，Gemini-3.1 Pro 44.4→43.9(−1.1%)，高感知复杂度任务上更易幻觉。瓶颈定位：文本转录条件下模型近乎满分，视频条件超10秒即跌至随机水平；时间拉伸(51.4%→53.6%)仅微升，证明非帧采样问题而是视觉感知本身。错误归因：>50%失败源于事件识别，其次实体关联，状态更新较少。代理框架失效：AVP 43.6、Claude Code 37.6、Codex 53.4，均≈随机基线50.8%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VSTAT整体准确率 | MRA-with-MCQ平均准确率(%) | 人类90.5% / Gemini-3.1 Pro(low) 44.4% / 最佳开源LLaVA-OV-2-8B 35.1% | Chance Level(Frequency) 37.8% / Chance(Random) 26.1% | 人类领先约45pp；最强MLLM仅领先频率基线6.6pp，开源模型普遍低于基线 |
| 时间拉伸消融（证伪帧采样假说） | Gemini-3.1 Pro准确率(%) | 拉伸版53.6% | 原始5秒51.4% / Chance 39.2% | 仅+2.2pp，排除帧采样歧义作为主因 |
| 文本转录 vs 视频输入 | 3个简单Blender任务准确率(%) | 文本条件接近100% | 视频条件(>10秒)≈随机水平 | 证明瓶颈在视觉感知而非推理能力 |
| 代理框架评测 | 子集(n=39)平均准确率(%) | Codex(GPT-5) 53.4% / Claude Code 37.6% / AVP 43.6% | Gemini-3.1 Pro 52.6% / Chance 50.8% | 无实质提升，视频代理AVP反而下降约9pp |
局限与改进
作者承认：编码代理Codex/Claude Code存在数据污染风险，需仔细排除答案泄漏（附录C.5）；子集n=39较小，代理结论为初步研究；文本转录仅适用于少数Blender任务，真实视频转录不可行甚至比视频本身还长，故不能作为通用解决方案。我额外观察：VSTAT主要覆盖程序化/离散事件过程，对连续物理动态（流体、形变、微表情）覆盖有限；基准依赖Blender合成可能引入分布偏置；人类基线仅由少数作者测量，样本量小；公开指标采用reparse的MRA-with-MCQ，处理细节可能影响跨研究可比性。
独立分析的弱点
弱点1-任务分布偏程序化：以计数、定位、离散事件为主，未充分测试连续物理状态跟踪，建议补充流体/形变/微表情类任务。弱点2-合成数据偏置：450/834片段来自Blender，纹理光照风格化，可能高估真实与合成间的难度差，建议补充更多in-the-wild数据。弱点3-诊断方法依赖人工转录：仅3个Blender任务可手工转录，覆盖面窄，建议发展自动视觉事件转录器扩大诊断范围。弱点4-代理评测样本小(n=39)：统计意义有限，建议全量评测并探索专门的视频状态跟踪代理架构。弱点5-仅评估闭源思考链(Gemini)，开源模型trace不可得，建议推动开源可解释trace以扩大归因分析。
未来方向
作者提出：扩展基准类别、改进MLLM视觉感知（而非推理）、探索能逐帧可靠转录事件的自动方法。基于成果可延伸：将视觉状态跟踪与机器人长时操作结合，发展“感知-状态-动作”闭环评测；构建多模态流式（视频+音频+文本）的联合状态跟踪基准；研究“状态感知”的注意力机制专门增强对持续事件的编码；把VSTAT的诊断分类法迁移到图像序列之外的时序模态（如传感器流、日志流）；探索用程序化合成视频做训练数据增强专门提升状态跟踪。
复现评估
复现性良好。作者开源基准数据（HuggingFace: nyu-visionx/vstat）、评测代码（GitHub: vision-x-nyu/vstat）、项目网站，基于公开的LMMs-Eval框架，附详细附录A-E（类别可视化、筛选流程、评测设置、附加结果、算力用量）。开源模型可本地复现；私有Gemini模型用MEDIUM分辨率、max_tokens=65536设置明确。主要挑战：1)代理评测Codex/Claude Code需商业API、单题约30分钟、算力成本高；2)人类基线需招募标注者；3)部分视频含受版权限制的YouTube内容。整体对学术复现友好。
论文图表
