PerceptionComp：一个面向复杂感知中心推理的视频基准测试 PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning
首个强调感知中心推理的复杂视频理解基准，现有最强模型准确率仅45.96%
前置知识
感知中心推理
指推理过程的核心瓶颈在于视觉感知而非纯逻辑推理的任务。这类任务要求模型从视觉输入中反复提取细粒度证据，而不是依赖语言先验或简单推理规则。例如，要回答视频中某人在丢钥匙前最后一次出现的楼层，模型必须识别钥匙、追踪其位置、理解楼层空间关系、定位事件时间等多个感知子任务。
本文的核心贡献就是创建了一个感知中心推理基准，理解这个概念才能明白为什么现有模型在PerceptionComp上表现不佳，难在感知而非推理。
测试时计算缩放
在推理阶段分配更多计算资源来提升性能的技术，包括增加推理token预算、采样更多输入帧、使用更多推理步骤等。数学上可表示为给定输入x和任务T，选择计算预算B来优化性能p(y|x,T,B)。例如GPT-o3通过延长推理链提升11.04%准确率。
论文通过控制帧数和推理token预算实验，揭示了PerceptionComp对感知预算和推理预算都敏感，这是评估视频思考能力的关键发现。
组合性推理
将多个子条件组合成复合查询的推理方式，有两种组合逻辑：合取式（所有条件指向同一目标，形成且关系）和顺序式（后续条件依赖前序结果，形成多跳推理）。数学上可表示为Q等于多个子条件的合取或顺序组合，每个子条件都是独立的感知子任务。
这是PerceptionComp设计问题的核心方法，确保每个问题都无法通过单一时刻或部分条件解决，必须满足所有组合约束。
场景复杂度代理指标
用自动计算的信号近似视频场景复杂度，论文使用两个指标：SAM2检测的实例数量（代理物体密度）和光流幅度（代理运动强度和场景变化）。实验表明这些指标能有效识别高复杂度视频，为基准测试提供难度保证。
这是论文视频选择的关键技术，确保选中的视频具有足够挑战性，避免使用过于简单的视频导致基准失效。
研究动机
现有视频理解基准存在严重缺陷，要么过于简单要么偏重逻辑而非感知。以VideoMME和Perception Test为代表的感知中心基准，人类往往可以单次观看后快速回答（平均响应时间仅8-32秒），导致难以区分模型的测试时思考能力。而VideoMMMU等强调推理的基准，主要难度来自逻辑结构而非真实世界感知，因为视觉输入通常是合成的或过度简化的。即使是长视频理解基准，也更强调记忆而非证据寻求推理。这些基准都无法有效测量多模态测试时思考能力，特别是那种依赖反复感知的能力。
本文的目标是创建一个严格强调感知中心推理的复杂视频理解基准，要求回答问题需要从多个时间上分散的视频段中收集证据，且满足组合约束。具体目标包括：选择具有高场景复杂度的真实视频、设计需要多技能组合的复合问题、确保没有单一时刻足够回答、提供可靠的评估指标、建立人类性能基准作为质量保证。
与已有工作不同的是，本文的独特切入角度是将感知本身作为推理的瓶颈，而不是将感知和推理割裂开来。通过精心设计问题使得任何单一时刻都不够，迫使模型必须反复访问视频来收集不同维度的视觉证据。这与现有基准形成鲜明对比，现有基准要么可以通过单次观看解决，要么主要依赖语言先验而非真实感知。此外，本文使用SAM2实例计数和光流幅度等自动信号量化场景复杂度，这在视频基准选择中是创新的做法。
核心方法
PerceptionComp的设计思路是双复杂度策略：首先选择结构上复杂的视频，然后将多个探测不同感知技能的子条件组合成问题，增加组合复杂度。整体流程包括：视频选择、子条件设计、组合问题组装、人工标注、交叉验证。这种方法确保每个问题都需要多个时间上分离的视觉证据和组合约束，无法通过单一时刻或部分条件解决。视频从七个类别选取：城市步行、购物、体育比赛、室内别墅、综艺节目、电影片段和游戏直播，时长2-10分钟。
核心创新是通过多子条件的组合性设计来强制实现长时域感知中心推理，这与现有基准形成本质区别。具体而言，每个子条件探测一种不同的感知推理技能，包括语义理解、空间理解、时间理解、对应关系、视觉知识和世界建模。问题采用两种组合逻辑：合取式和顺序式。关键设计原则是确保没有真子集能唯一确定答案，必须满足所有组合约束，防止模型忽略部分条件的捷径。
方法步骤详情
方法步骤包括：（1）视频选择：从七个真实类别筛选2-10分钟视频，使用SAM2实例数量和光流幅度量化场景复杂度，选择高复杂度视频。（2）子条件设计：为每个问题设计多个感知子条件，每个条件探测一种技能如语义识别、空间推理、时间推理、对应关系等。（3）组合问题组装：将子条件用合取式或顺序式逻辑组装成完整问题，确保没有真子集能唯一确定答案。（4）人工标注：从视频选择到最终标注每个问题需要10-20分钟，采用100%手动标注确保准确性。（5）交叉验证：每个问题至少由一位未创建该问题的标注者验证，确认答案唯一且所有子条件都必要。（6）难度标注：专家根据子条件数量和内在难度将问题分为三个难度级别。（7）答案格式：所有问题采用五选一格式，干扰项来自同一类别以抑制语言先验。
技术新颖性
技术新颖性体现在四个方面：一是首次在视频基准中强调感知中心推理而非纯逻辑推理，使感知本身成为推理瓶颈；二是使用SAM2实例计数和光流幅度等自动代理指标量化场景复杂度，为视频选择提供客观依据；三是通过多子条件组合设计确保问题的组合性要求，防止捷径学习；四是采用严格的人工验证协议，每个问题需要10-20分钟标注并经过交叉验证，确保答案唯一且所有条件都必要。与VideoMME等基准相比，PerceptionComp的人类平均响应时间长达144秒，远超其他基准的8-65秒，证明其确实要求长时域思考。
实验结果
人类研究证实了PerceptionComp的预期难度：专家在无限制重观看下可达到100%准确率，普通人在可重观看下达到85.10%准确率，但在单次观看（不能重看）严格设置下准确率降至18.97%，接近随机猜测。这证明PerceptionComp（1）需要实质性的测试时思考，（2）无法通过单次观看或语言先验解决。最先进的MLLM表现明显不如人类：Gemini-3-Flash达到45.96%准确率，GPT-o3达到43.54%，而开源MLLM均低于40%。测试时推理有帮助但远未达到人类水平：GPT-o3超过GPT-4o 11.04%，Gemini-2.5-Pro超过Gemini-2.5-Flash 6.19%。分析实验表明感知预算和推理预算都影响性能：GPT-o3从16帧（34.0%）提升到50帧（43.54%），Qwen3-VL-8B从16帧（27.0%）提升到64帧（34.80%）；Gemini-2.5-Flash随着思考token预算从1024增加到8192，准确率持续提升。有趣的是，即使是最强的前沿模型（Gemini-3变体和GPT-o3），尽管架构/接口不同，准确率都聚集在40%出头，表明在感知中心长时域视频推理中存在共同瓶颈。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 五选一视频问答 | 准确率 | Gemini-3-Flash 45.96% | VideoMME人类单次观看约80% | 新基准，无直接对比，但人类专家可达到100% |
| 不同难度级别准确率 | Level 1/2/3准确率 | Gemini-3-Flash: 43.75%/47.26%/47.85% | GPT-o3: 43.08%/43.98%/43.54% | 所有模型在Level 3准确率显著下降，证明组合复杂度增加导致性能下降 |
| 感知预算影响 | 帧数与准确率关系 | GPT-o3: 16帧34.0%提升到50帧43.54% | Qwen3-VL-8B: 16帧27.0%提升到64帧34.80% | 单调递增关系，证明PerceptionComp依赖密集时间采样 |
| 推理预算影响 | 思考token预算与准确率关系 | Gemini-2.5-Flash: 1024到8192 tokens持续提升 | 无 | 更大推理预算帮助维持中间假设，避免过早承诺 |
局限与改进
论文明确承认的局限性包括：（1）成本高昂：每个问题需要10-20分钟标注，总成本巨大，限制了可扩展性。（2）仅评估理解能力：由于答案格式是五选一，无法直接评估生成能力和创造性推理。（3）领域偏差：视频来自七个类别，但主要涵盖城市环境，可能存在地理或文化偏差。（4）时间限制：视频最长10分钟，对于更长时域推理可能不够。我观察到的额外局限：（1）仅基于准确率单一指标，无法区分不同错误类型；（2）缺乏细粒度技能分析，难以诊断具体感知技能弱点；（3）答案选项有限制为单个词或短语，可能限制了复杂答案的表达；（4）评估集中在静态分析，缺乏交互式推理评估。
独立分析的弱点
独立分析的弱点包括：（1）评估成本过高，限制了基准的可扩展性和持续更新。改进方向：开发半自动或自动标注工具，使用预训练模型辅助标注但仍保持人工验证。（2）单一准确率指标无法揭示错误模式。改进方向：添加错误类型分类（如空间错误、时间错误、对应错误、语义错误等）和细粒度技能诊断。（3）五选一格式限制了答案表达能力。改进方向：增加开放式答案选项或混合格式。（4）缺乏跨模态对齐分析。改进方向：添加视觉与语言对齐质量评估，分析模型在哪些视觉特征上容易出错。（5）时域推理评估不够深入。改进方向：添加时域依赖强度标注，量化不同问题对时域推理的需求程度。
未来方向
作者提出的未来方向：（1）利用PerceptionComp作为诊断工具，分析模型在感知中心推理中的具体瓶颈，推动算法改进。（2）探索新的训练方法，如使用RLVR风格或推理聚焦的流水线来提升多模态模型的长时域推理能力。（3）扩展基准覆盖更多领域和更长视频。基于成果可延伸的方向：（1）开发细粒度评估协议，分析不同感知技能（语义、空间、时间、对应）的具体表现。（2）研究动态注意力机制，让模型根据问题需求自适应分配计算资源到不同时间区域。（3）探索交互式推理范式，允许模型主动提出澄清问题或请求特定时间段的视觉证据。（4）开发跨基准迁移学习评估，研究在PerceptionComp上训练的模型是否提升其他视频任务性能。（5）研究人类推理策略的可解释性，将其转化为可学习的推理模式。
复现评估
复现性评估方面，论文承诺代码和数据在https://perceptioncomp.github.io开源，提供了完整的基准测试协议。所有279个视频和1114个问题将公开，包括详细的标注说明和验证协议。论文详细描述了评估设置：对有原生视频输入的模型（如Gemini）直接输入原始视频，对无原生视频支持的模型统一采样64帧，某些GPT API使用50帧。专有模型使用链式思维提示，开源指令微调模型提示直接输出答案选项，思维风格模型使用链式思维提示（温度0.7，最大生成长度16384 token）。算力需求方面，评估所有模型需要显著的计算资源，特别是对需要密集采样的模型。复现难度中等偏高，主要挑战是获取专有模型API访问权限和处理大型视频文件。但由于提供了完整协议和数据，研究团队应该能够复现主要结果。
论文图表
图(a)展示PerceptionComp的一个例子，要求模型执行复杂感知中心推理，涉及多种类型的子条件才能到达最终答案。图(b)展示测量问题回答时间的人类研究结果，显示PerceptionComp对人类来说比以前的感知和推理视频基准更具挑战性，这主要归因于它对感知中心推理的强调。具体数据显示PerceptionComp的人类平均响应时间为144秒，远超过VideoMME的8秒、LongVideoBench的27秒、VideoMMMU的65秒等基准。
这张图对理解论文至关重要，因为（1）直观展示了PerceptionComp问题的组合性和复杂性，（2）通过人类响应时间对比量化证明了基准的难度，特别是144秒与其他基准的巨大差距，这为后续模型性能分析提供人类基准。这张图直接支撑了论文的核心论点：PerceptionComp要求实质性的测试时思考和反复感知。