GAMEPLAYQA：面向决策密集型多视点同步多视频理解的3D虚拟Agent评测框架 GameplayQA: A Benchmarking Framework for Decision-Dense POV-Synced Multi-Video Understanding of 3D Virtual Agents
提出首个面向多Agent环境感知评测的端到端基准，包含2.4K高密度标注的多视点游戏视频QA对，揭示MLLM在时序推理和跨视频理解上的显著不足。
前置知识
多模态大语言模型（MLLM）
能够同时处理文本、图像、视频等多种模态输入的大语言模型，通常结合视觉编码器将视觉信息转化为语义表示，再与语言模型进行跨模态对齐和推理。这类模型如GPT-4V、Gemini等，在视觉问答、图像描述等任务上表现出色，但也存在物体幻觉、时序理解偏差等问题。
本文评测的核心对象，需要理解MLLM在动态、多Agent场景下的感知和推理能力局限。
第一人称视角（POV）视频
以主体自身视角捕获的视频数据，模拟人类或Agent在环境中的视觉体验。在游戏和机器人领域，POV视频能够呈现Agent主动决策过程中的视觉输入流，包含快速的视角移动、场景切换和状态变化，比固定摄像头视频更具挑战性。
GAMEPLAYQA采用POV视频作为主要评测素材，因为这是虚拟Agent在实际部署中会遇到的视觉输入形式。
决策密度（Decision Density）
本文提出的量化指标，定义为单位时间内语义标签（动作、状态、事件）的频率，公式为 $\rho = \frac{N_{labels}}{T_{seconds}}$。高决策密度意味着环境中需要Agent频繁感知和响应的状态变化，如射击游戏中每秒可能有多次开火、换弹、受伤等事件。
GAMEPLAYQA的标注密度达到 $\rho \approx 1.22$ labels/second，远高于传统视频基准，这使其能够测试模型在快节奏、高密度决策环境下的表现。
幻觉诊断（Hallucination Diagnosis）
通过结构化的错误选项分析来识别模型幻觉的具体类型和原因。本文定义了四种干扰项：词汇干扰（文字变体但语义错误）、场景干扰（视频中未发生但合理的视觉事件）、时序干扰（发生过但不在指定时间窗口）、角色干扰（将其他Agent的行为误归因于POV玩家）。
这是GAMEPLAYQA的核心创新点，能够精确定位模型失败的原因，为后续改进提供方向。
同步多视点视频（Synchronized Multi-POV Video）
从不同参与者视角捕获同一场景的多段视频，通过时间戳对齐使其在同一时间线上一一对应。例如在多人游戏中，四个玩家各自录制自己的游戏画面，事后将它们对齐，可以同时观察同一个事件在不同视角下的表现。
这是L3级跨视频理解任务的必要条件，要求模型能够整合多个视角的信息进行推理，这是传统单视频基准无法评测的能力。
研究动机
当前视频理解评测基准存在三个根本性缺陷，无法满足多Agent环境下的感知评测需求。第一，大多数基准缺乏具身性和Agent导向，由慢节奏、被动观察的视频组成，缺少高频状态转换和密集决策循环所需的压力测试。例如MVBench、LongVideoBench等通用基准中的视频平均每个事件间隔远超过游戏环境中的决策频率。第二，现有基准不具备幻觉诊断能力，只提供全局性能指标，缺乏细粒度的多面注释来识别失败是来自时序误解、物体虚构还是角色混淆。第三，当前协议显著缺乏多视频理解能力，几乎完全聚焦于单视点感知。然而在体育分析、自动驾驶等领域，多视点同步和集体推理至关重要，在电子竞技和游戏领域更是核心技能。
本文的目标是本文的目标是创建一个端到端的评测框架，不仅是一个静态评测集，而是包含结构化标注协议、自动问题生成和可诊断错误分析的完整流程，专门用于评测3D虚拟环境中Agent认知基础的能力。具体而言，旨在建立一个具有高决策密度、同步多POV视频、结构化实体分解和细粒度幻觉诊断的基准，能够系统评估MLLM在密集决策、多Agent协作、时序推理等方面的表现。
与已有工作不同的是，本文的独特切入角度在于将3D游戏场景视为高密度的「认知沙盒」，利用游戏环境中状态和动作序列的确定性、决策过程的快节奏以及天然的多Agent交互特性，构建一个能够真正测试Agent感知能力的评测框架。与已有工作的区别在于：1）采用Self-Other-World三实体分解框架，自然对齐多智能体强化学习范式；2）通过时间轴密集标注实现 $\rho \approx 1.22$ labels/second的高决策密度，远超传统基准；3）引入结构化干扰项分类系统，实现细粒度的幻觉诊断；4）包含同步多POV视频，评测跨视角推理能力。这种设计使GAMEPLAYQA能够填补评测MLLM作为自主Agent感知骨干时的关键空白。
核心方法
GAMEPLAYQA框架整体采用数据驱动与模板生成相结合的策略。首先从9款多人游戏中收集第一人称游戏视频，对于需要同步多POV的游戏，通过识别一起对局的流媒体主播并手动对齐他们的个人录制来构建同步多视频集合。然后定义基于Self（POV玩家自身）、Other（其他Agent）、World（共享环境）三实体系统的六种基础标签类型：Self-Action（SA）、Self-State（SS）、Other-Action（OA）、Other-State（OS）、World-Object（WO）、World-Event（WE）。接着对视频进行密集多轨道时间轴标注，每种实体类型作为独立的注释轨道，标签可以在同一时间跨轨道重叠，以捕获并发事件。基于这些标注，通过组合模板算法生成QA对，该算法在五个正交维度上系统组合：视频数量、上下文目标、实体类型、干扰项类型和问题形式。最后应用质量保证流程，包括语言先验过滤和人工评估，得到最终的2,465个黄金标准QA对。
GAMEPLAYQA的核心创新点在于其结构化的干扰项分类系统和高决策密度的密集标注机制。与大多数基准仅提供正确答案不同，GAMEPLAYQA将错误选项按其与正确答案的关系分为四类：词汇干扰（文字变体）、场景干扰（视觉上合理但未发生）、时序干扰（发生但不在查询时间窗口）、角色干扰（将其他Agent的行为误归因于POV玩家）和跨视频干扰（来自其他同步视频的事件）。通过分析每种干扰类型的错误率，可以精确诊断模型的失败模式。另一个关键创新是Self-Other-World三实体分解框架，自然对齐多智能体强化学习中的Agent跟踪需求：Self捕获POV Agent自身的状态和动作，用于密集状态-动作跟踪；Other建模外部Agent的行为和意图；World将感知建立在持久环境元素和瞬态事件之上。
方法步骤详情
方法步骤分为四个主要阶段。第一阶段是密集多轨道时间轴标注，每段视频由Gemini-3-Pro生成候选标签和干扰项预测，四名研究生标注员验证和细化这些候选：31.1%的预测标签被删除，42.7%被编辑（61.9%需要标注修改，42.2%需要时序边界调整），26.2%被原样接受。另有7.6%的最终标签集完全由标注员添加以捕捉模型遗漏的事件。第二阶段由另一名标注员审核所有标签，对约12%的标签进行进一步调整。标注密度为 $\rho \approx 1.22$ labels/second，2,709个真实标签跨越总计2,219.41秒的标注片段。第三阶段是组合QA生成，算法最初生成399,214个候选QA对，由于Sync-Referring、Cross-Entity Referring、Timestamp Referring和Ordering类型的组合性导致分布偏斜，因此策略性降采样到4,000个问题以强制平衡类别覆盖。第四阶段是质量保证，应用语言先验过滤（使用Gemini-3-Flash在不提供视频的情况下测试问题，如果模型仅凭文字就能高准确率回答则标记为有偏并移除）和人工评估（均匀采样120个问题覆盖所有问题类型，评估两个标准：视频中是否有唯一的正确答案，问题是否符合其问题代码定义的语义），最终得到2,365个黄金标准QA对。
技术新颖性
GAMEPLAYQA的技术新颖性体现在多个方面。在评测框架设计上，它不仅是评测集而是端到端流水线，包含结构化分类法、标注模式、组合QA生成和可诊断错误分析，使评测流水线可以扩展到新游戏和领域。在标注密度上，$\rho \approx 1.22$ labels/second的决策密度远超传统视频基准，这种高频标注制度突显了时序基础任务的固有难度。在诊断能力上，结构化干扰项分类系统使能够通过多选题精确诊断模型幻觉。在实体建模上，Self-Other-World三分解框架结合3D游戏的特性直接解决了三个核心Agent需求。在可扩展性上，通过在自动驾驶和以人为中心的人类协作视频上的跨域迁移实验，证明该框架只需最小化领域特定调整即可泛化到真实世界的时空任务。
实验结果
在16个前沿MLLM上的评测揭示了与人类性能的显著差距，模型平均准确率56.9%，而人类达到80.5%，差距23.6个百分点。最强模型Gemini 2.5 Pro达到71.3%整体准确率，其次是Gemini 3 Flash（68.2%）和GPT-5（67.0%），但均与人类有显著差距。三个关键发现：第一，模型在认知层级上表现一致退化，平均准确率从L1单参考（61.2%）到L2时序（56.0%）再到L3跨视频（49.4%）稳步下降，验证了GAMEPLAYQA的三级层次成功分层了任务难度，时序基础和多POV推理仍然比基础视觉感知更具挑战性。第二，出现两个明显的瓶颈任务：Occurrence Count（OccCnt）在所有模型中平均只有36.5%，是最难的L2任务，表明跟踪事件随时间的重复（需要跨帧持续时序注意力）仍然超出了当前模型的能力；Cross-Video Ordering（X-VOrd）平均38.8%，是L3任务中最低的，几个模型下降到30%左右，表明跨视角对齐时序事件存在严重困难。第三，按实体类型的细粒度错误分析显示，World-Object（WO）识别最容易（62.0%聚合），而识别Other Agent明显更难，如Other-Action（OA）54.0%和Other-State（OS）55.4%，比世界物体低8个百分点，表明MLLM在多Agent场景中的其他Agent归因方面存在困难。按游戏类型的分析显示，竞争性射击游戏如Counter-Strike、Battlefield、Apex Legends是前三最困难的，验证了决策密集环境构成根本性更难的挑战。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Overall Accuracy | Accuracy (%) | Human: 80.5 | Gemini 2.5 Pro: 71.3 | 9.2个百分点差距 |
| Level 1 (Single Reference) | Average Accuracy (%) | Human: 80.0, All Models: 61.2 | Gemini 2.5 Pro: 69.1 | 10.9个百分点差距到人类 |
| Level 2 (Temporal) | Average Accuracy (%) | Human: 80.0, All Models: 56.0 | Gemini 2.5 Pro: 74.5 | 5.5个百分点差距到人类 |
| Level 3 (Cross-Video) | Average Accuracy (%) | Human: 80.0, All Models: 49.4 | Gemini 2.5 Pro: 59.5 | 20.5个百分点差距到人类 |
| Hardest L2 Task (Occurrence Count) | Accuracy (%) | All Models: 36.5 | Gemini 2.5 Pro: 50.0 | 最低准确率任务 |
| Hardest L3 Task (Cross-Video Ordering) | Accuracy (%) | All Models: 38.8 | Gemini 2.5 Pro: 25.0 | 最低准确率L3任务 |
| Cross-Domain Generalization (Real-world) | Accuracy (%) | Gemini 2.5 Pro: 66.2 | Same model on main benchmark: 71.3 | 5.1个百分点下降 |
局限与改进
作者承认的局限性包括：首先，虽然GAMEPLAYQA包含意图识别作为理解目标导向行为的代理，但框架不覆盖决策推理问题如「此时采取的最佳行动是什么？」。回答这类问题需要从原始视频观察中估计期望奖励或动作值，这仍然是一个开放研究挑战，因为它不仅需要感知，还需要从未策划的野外片段中学习隐式奖励结构和世界动态。其次，意图识别本身比识别物理动作或状态更具主观性，偶尔会导致多个可辩护的答案；在人工评估过程中，约8%的问题被标记为具有歧义的地面真值标签。然而，因为预期意图是规划Agent的关键能力，作者认为该类别提供了重要的诊断信号并应予以保留。第三，支撑GAMEPLAYQA的密集标注过程极其劳动密集且易受人错误影响，平均标注30秒视频片段需要25-35分钟，标注员必须跟踪超过100个标签和干扰项，重复观看相同片段同时在不同实体类型和时间窗口之间切换认知焦点。更关键的是，组合QA生成算法在多个问题中重用标签，意味着单个标注错误（无论是在时间戳边界、实体类型还是描述内容）都可能传播到多个错误问题。尽管质量保证程序缓解了这一风险，但基准中不可避免地存在一些标注噪声。
独立分析的弱点
独立分析显示，GAMEPLAYQA存在几个具体可改进的弱点。在标注效率方面，当前流程每个30秒视频片段需要25-35分钟标注时间，这种劳动密集度难以快速扩展到更多游戏或领域。改进方向包括开发半自动化标注工具，利用模型的视觉理解能力提供预标注，再由人工快速审核，同时引入多标注员一致性检查和争议解决机制。在标注错误传播方面，组合QA生成算法重用标签导致单点错误可能传播到多个问题，改进方向包括引入标签质量评分和错误检测机制，以及在QA生成阶段添加交叉验证逻辑。在意图识别的主观性方面，8%的问题因意图识别的主观性被标记为有歧义，改进方向包括为意图识别任务制定更明确的标注指南，或者设计多答案验证机制。在游戏多样性方面，虽然覆盖了9款游戏，但主要集中在动作和射击类，未来应增加更多游戏类型如策略、解谜、体育等以测试更广泛的能力。在基准规模方面，2,365个QA对虽然质量高但规模相对较小，改进方向包括扩展到更多游戏和更长视频序列。
未来方向
作者提出的和基于成果可延伸的未来研究方向包括：决策推理能力评测，扩展基准以包含如「此时采取的最佳行动是什么？」之类的决策推理问题，这需要模型估计期望奖励或动作值，是一个开放研究挑战。更长时间的时序推理，当前视频长度主要集中在几十秒级别，未来可以扩展到更长的视频序列，测试模型在更长时间跨度上的事件跟踪和推理能力。更多实体类型的建模，当前Self-Other-World框架主要针对人类玩家和NPC，未来可以扩展到更复杂的实体类型如群体、组织、虚拟物品等。跨域泛化能力的系统性研究，虽然在自动驾驶和人类协作视频上进行了初步实验，但未来可以在更多真实世界领域如体育分析、监控视频、医疗影像等系统测试框架的泛化能力。交互式评测模式，当前是静态问答，未来可以开发交互式评测模式，允许模型在观看视频过程中提出澄清问题或请求特定时间段的详细信息，更接近真实Agent的交互模式。
复现评估
论文提供了详细的复现信息。代码和标注工具虽然未明确开源地址，但论文详细描述了标注协议、质量保证流程和QA生成算法，使得其他研究团队可以复现类似的评测流水线。数据方面，论文使用了9款游戏的视频，部分来自公开数据集，部分来自YouTube和Twitch流媒体，但论文未明确说明数据集的公开获取方式，这可能限制完全复现。算力方面，评测需要调用16个前沿MLLM的API，包括GPT-5系列、Gemini系列、Claude 4.5、Seed 1.6、Qwen3-VL和Gemma 3系列，这对计算资源要求较高，特别是视频输入的处理。难度方面，复现的主要挑战在于游戏视频的收集和多POV同步，以及密集标注的人力成本，但如果使用公开的游戏视频资源和框架提供的模板算法，中等规模的研究团队应该可以构建类似的基准。论文还提供了详细的推理设置和提示模板（在附录中），以及对不同模型视频输入策略的说明，这些都有助于提高复现的可行性。
论文图表
