PhysVista：以感知-推理-评估闭环评测视觉语言模型的物理智能 PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop
构建感知-推理-评估闭环基准，系统诊断16个VLM的物理理解短板
前置知识
VLM（视觉语言模型）
VLM 是以大语言模型为底座、接入视觉编码器的多模态模型，输入图像或视频帧与文本提示，输出文本回答，代表包括 GPT 系列、Gemini、Claude、Qwen-VL 等。处理视频时通常先抽帧再与文本一起送入上下文，依靠预训练获得的视觉-语义对齐能力完成描述、问答与推理。
本文的全部评测对象就是各类 VLM，理解其'抽帧+提示'的工作方式，才能明白为什么这类模型在时序与因果物理任务上会系统性失效。
事件级推理 vs 尺度级推理
事件级推理只判断'发生了什么'（如球会不会停下来），选项间语义结构差异大；尺度级推理要求区分'到什么程度'（如停在参照点之前还是恰好停在参照点），需要在数量、比例、精确位置等细粒度维度上比较。本文通过分层选项构造把同一事件细化为多个仅程度不同的变体选项。
PhysVista 的核心设计之一就是把推理拆成这两级粒度，论文的关键发现（VLM 尺度级能力差、预测与反事实最难）直接依赖这一区分。
物理合理性与违例检测范式
源自发展心理学的'违背预期'（violation-of-expectation）范式：观察者若对违反物理规律的场景注视更久，说明其具备直觉物理。AI 基准借用该范式判断模型能否识别视频中的物理违例（如物体悬浮、穿模、能量凭空增加）。本文进一步把二元判断升级为 1-5 分打分与成对比较两种更细的任务形态。
评估阶段（Assessment）是本文相对 PhysBench、PAI-Bench 的关键增量，理解该范式才能看懂打分与比较两类任务的动机与指标设计。
SRCC 与 PLCC
SRCC（Spearman 秩相关系数）衡量预测分与人工标注分在排序上的一致性，取值 $[-1,1]$；PLCC（Pearson 线性相关系数）衡量两者的线性相关程度。打分类任务不用准确率而用这两个指标，因为分数是序数/连续量。若模型给所有视频都打同一分，两个系数都会趋近 0。
论文用 SRCC/PLCC 揭示'分数坍缩'现象——Qwen3-VL-8B 两项仅 0.0240/0.0071，接近随机；看不懂这两个指标就无法理解这一核心失败模式。
语言偏置与 video-blind 评测
指模型不看视频、仅凭问题文本与选项的统计线索（措辞风格、选项长度等）就能答对题目的捷径。检测方法是 video-blind 测试：让模型在无视频输入下作答，若准确率显著高于随机水平，说明数据存在偏置。本文用内容无关固定模板出题并人工改写可疑样本，以消除此类线索。
PhysBench 被诟病存在语言偏置，PhysVista 把消除该偏置作为方法论卖点，这直接关系到基准结论的可信度。
研究动机
现有物理理解评测呈现'碎片化'格局，各基准只覆盖认知闭环的一段。PhysBench 聚焦感知层，却存在语言偏置——模型不看视频也能凭文本线索答对；IntPhys2 把评估简化为二元合理性判断，只测浅层直觉；CausalVQA、CoPhyBench 等因果推理基准只考察'事件是否发生'式的事件级推理，不要求区分数量、比例、精确位置等尺度级差异；考试风格的物理题基准把视觉信息仅当辅助线索，与真实世界'由感知驱动'的物理理解方式根本错位；最新的 PAI-Bench 覆盖感知与推理，唯独缺少闭环的最后一环——对整段视频合理性的打分与排序。数据源上，早期基准（IntPhys 系列等）以仿真环境为主，场景过于简单，难以反映复杂真实动态；近年虽引入真实视频，但对快速崛起的 AI 生成视频的评估几乎空白，而生成视频恰恰充满微妙的物理破绽（复杂场景切换、物体交互、人体运动失真），需要违例批判、合理性打分这类新任务来检验。结果是：现有基准量测的是物理智能的孤立切面，无法诊断 VLM 能否端到端地完成'看懂—推理—评判'的完整物理认知过程。
本文的目标是本文的目标是构建 PhysVista：一个以人类'看见—推理—评估'认知闭环为骨架的统一物理智能基准。具体而言：(1) 感知阶段覆盖空间状态感知（关系/交互/场景语境/空间可行性 4 个子类）、时间违例定位、相机运动识别（10 类）、定量尺度估计（要求以分数形式给出物体比例）与物理不确定性感知（参数不确定与结果不确定两种形态）；(2) 推理阶段覆盖时序重建与五种因果推理（机制推理、原理违例、动态预测、反事实推理、违例批判），并显式区分事件级与尺度级两种粒度；(3) 评估阶段覆盖 1-5 级合理性打分与三种配对类型（真实-生成、真实-真实、生成-生成）的相对比较。数据同时使用真实视频（WISA-80K）与 AI 生成视频（VideoPhy-2），使基准既能诊断经典物理理解，也能应对生成内容鉴伪这一新兴场景，最终在 16 个主流 VLM 上给出系统的能力画像与失败模式分析。
与已有工作不同的是，本文的独特切入角度有三。第一，闭环视角：不把感知、推理、评估当作孤立能力分别建榜，而是强制三阶段联动评测，从而可以测量'跨阶段能力排名不一致'这一此前无人报告的指标——论文据此发现了感知强不等于推理强、推理强不等于评估稳的认知鸿沟，这是任何单段基准都测不出来的。第二，粒度视角：首创事件级/尺度级分层选项构造流程，把'球会停吗'细化到'停在参照点之前还是恰好停在参照点'，把 VLM 的细粒度物理敏感性变成可量化的量，而以往基准的干扰项与正确答案在事件结构上差异悬殊，模型凭常识即可排除。第三，数据视角：首批系统性地把 AI 生成视频纳入物理智能评测，并针对生成内容设计违例批判（要求指出如何修改关键物理因素使场景合理）与合理性打分任务；同时用内容无关固定模板、video-blind 筛除与人工改写三重手段堵住语言捷径，直接回应 PhysBench 的偏置问题。
核心方法
直觉上，PhysVista 想模拟人类观看物理视频的完整心智过程：先看清'现在是什么状态'，再推理'为什么会这样、接下来会怎样'，最后评判'整个过程符合物理规律吗、有多符合'。技术上，基准由三大阶段组成：感知阶段包含空间状态感知（4 个子类）、时间违例定位、相机运动识别、定量尺度估计与不确定性感知；推理阶段包含时序重建与 5 种因果任务；评估阶段包含合理性打分与成对比较。数据上，真实视频取自 WISA-80K，生成视频取自带 1-5 物理合理性标注的 VideoPhy-2，相机运动任务取自带位姿轨迹的 Multi-CamVideo；除原理违例推理为多选外，全部任务为单选题。每个任务配一条任务特定但内容无关的固定模板（不含槽位填充与实例相关变量），以消除文本侧的辅助线索。评测协议按任务定制：多数任务用准确率，违例时间定位用 mean IoU，原理违例推理用 Micro-F1，合理性打分用 SRCC/PLCC，平均分按任务数加权。
核心创新是把物理智能当作一个必须闭环诊断的整体，并用'两级粒度'的选项工程把细粒度物理敏感性变成可测量的量。与已有方法的本质区别在于：(1) PhysBench 停在感知且存在语言捷径，PAI-Bench 补了推理但缺评估，PhysVista 补全闭环，并实证三阶段能力排名互不一致，单段基准的结论会系统性误导模型选型；(2) 分层三段式选项构造——先用 Gemini 3.1 Pro 或人工标注生成并排序 4 个粗粒度基础选项（事件级），再把每个基础选项细化为语义几乎相同、仅程度不同的变体并组内排序（尺度级），评测时既可跨组抽取测事件级能力，也可组内抽样测尺度敏感性，并遵循四条共享原则：所有选项物理上说得通、贴合视频语境、正确选项因果解释力明显更强、错误选项与正确答案在事件结构或粒度上可比；(3) 首次为生成视频设计违例批判任务：基于人工标注的违例原理，让 Gemini 3.1 Pro 最小编辑场景使其物理自洽，正确答案即该修改方案，标注锚定抑制了幻觉；(4) 把不确定性感知纳入物理感知分类，区分参数不可判定（如摩擦系数无法从画面确定）与结果不可判定（长期演化本质不定）两种形态。
方法步骤详情
数据构建分两阶段。第一阶段视频筛选：感知与推理任务从 WISA-80K（真实）与 VideoPhy-2（生成）中剔除静态、低动态、缺乏多物体交互的片段；违例批判任务排除含多个同时违例的视频；动态预测任务只提供前段、扣留结局；相机运动识别改用 Multi-CamVideo，只保留单一主导运动片段，按位姿轨迹自动打上 10 类标签。第二阶段问答构造：每任务用固定内容无关模板出题，选项按任务定制——空间感知选项由抽帧与原数据集 caption 生成；违例定位由人工标注起止时间戳；尺度估计由人工给出如 $1/3$ 形式的比例真值；参数不确定性问题由 Gemini 3.1 Pro 生成，结果不确定性的正确答案固定为'不确定'；机制/反事实/预测任务采用事件级生成、尺度级细化、两级选择的三层选项流程；反事实通过隐式修改场景（冰面换石板路）引入假设条件；时序重建只交换相邻帧构造干扰项。最后三重质检：人工验证 VLM 产出的真值、video-blind 测试剔除不看视频也能答对的样本、人工改写明显 LLM 风格的措辞。
技术新颖性
技术新颖性体现在四点。其一，闭环架构本身：把 seeing-reasoning-assessment 作为整体评测协议是首创，论文用跨阶段排名变化证明其必要性——这一'认知鸿沟'类结论只有闭环设计才能产出。其二，尺度级评测机制：分层选项构造是可复用的选项工程方法，与 MVP Bench 用最小视频对消除捷径的思路互补——一个控制问题侧偏置，一个控制选项侧粒度。其三，不确定性感知进入物理感知 taxonomy：此前基准完全忽略该维度，而这恰是物理常识的核心成分（知道什么不可知）。其四，定量尺度估计的形式创新：要求模型输出如 $1/3$ 的分数比例而非'较大/较小'类模糊形容词，把感知从分类问题变成数值估计问题；这也解释了为何它是唯一一个生成视频表现反而略好于真实视频的任务——生成场景几何布局更干净，形式设计放大了任务区分度。评估协议上，用 mean IoU 测时间定位、SRCC/PLCC 测打分校准、三种配对类型测比较能力，也比单一准确率的信息量大得多。
实验结果
论文评测了 16 个 VLM（GPT-6 Sol、GPT-5.2、Claude Opus 5.5/4.6、Gemini 3.1 Pro、Doubao、Grok 4、Kimi K2.5、Qwen3.5/Qwen3-VL 系列），得到五组发现。(1) 感知强、推理与评估弱：GPT-6 Sol 感知加权平均 68.59% 最高，推理降至 62.68%；打分任务全员 SRCC 不超过 0.6141，比较任务最优仅 57%。(2) 认知鸿沟：GPT-5.2（感知 64.06%）与 Kimi K2.5（61.56%）分列感知第 3、4，推理排名大幅下滑（GPT-5.2 仅 49.86%）；Gemini 3.1 Pro 与 Doubao 推理排第 3、4（60.20%、60.06%），评估却回落（打分 SRCC 仅 0.3087、0.4018），证明三阶段能力相互独立。(3) 时间易、因果难：时序重建多数模型超 60%（Doubao 91.33%），而动态预测与反事实全场困难——Grok 4 仅 22.96% 与 27.73%，最强的 Claude Opus 5.5 也只有 58.52% 与 49.58%；违例批判反而最易（GPT-6 Sol 88.00%）。(4) 生成视频放大失败：多数任务在生成视频上更差，不确定性感知与动态预测降幅最大，唯尺度估计在生成视频上略升。(5) 分数坍缩：Qwen3-VL-8B 与 Kimi K2.5 把打分堆在最高分（前者 SRCC/PLCC 仅 0.0240/0.0071），Gemini 与 Grok 4 坍缩到最低分；比较任务中 Real vs Gen 最易（Claude Opus 5.5 57%），Gen vs Gen 显著更难，Real vs Real 暴露过度自信（Qwen3-VL-30B-A3B 仅 27%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物理状态感知（含相机、尺度、不确定性） | 任务数加权准确率 | 最优 GPT-6 Sol 68.59%（Claude Opus 5.5 65.78% 次之） | 最弱 Qwen3-VL-8B 42.19%；GPT-5.2 为 64.06% | 头部与尾部模型相差约 26 个百分点；但定量尺度估计全员低于 44%（最高 GPT-5.2 43.33%），暴露感知短板 |
| 物理动态推理（时序+5 种因果任务） | 任务数加权准确率（违例任务用 Micro-F1） | 最优 Claude Opus 5.5 67.89% | 最弱 Grok 4 40.37%；GPT-6 Sol 62.68% | 动态预测/反事实即使最强模型也仅 58.52%/49.58%，Grok 4 低至 22.96%/27.73%，接近随机水平 |
| 物理合理性打分（1-5 级） | SRCC / PLCC | 最优 GPT-6 Sol 0.6141/0.5586；Claude Opus 5.5 0.5702/0.5882 | Qwen3-VL-8B 0.0240/0.0071（近随机）；Grok 4 0.2853/0.2952 | 头部与尾部相关系数相差一个数量级，且全员远未达到可靠校准水平 |
| 时间违例定位 | Mean IoU | 最优 Claude Opus 5.5 54.87% | Grok 4 34.61%；GPT-6 Sol 53.03% | 约 20 个百分点差距，但绝对值均不足 55%，秒级时间定位仍不实用 |
| 物理合理性比较（三种配对） | 准确率 | 最优 Claude Opus 5.5 与 Doubao 均 57% | Qwen3-VL-30B-A3B 仅 27%；Claude Opus 4.6 38% | Real vs Gen 最易（多数模型 50%+），Gen vs Gen 显著更难，Real vs Real 暴露强制二选一问题 |
局限与改进
作者明说的局限不多，但从行文可提取：基准部分真值依赖 Gemini 3.1 Pro 生成与改写（参数不确定性、反事实条件、违例批判的正确选项），尽管经人工验证，标注质量仍受该模型自身物理能力上限约束；评测覆盖的 16 个模型全部是同类 VLM，缺少物理增强架构或世界模型类专门系统作为对照。我自己的观察：其一，几乎所有任务都是选择题，开放式生成式推理（自由解释违例原因、自由打分并给出理由）未被覆盖，选择题形态可能高估模型能力，也无法检验表达出的物理论述是否正确；其二，合理性真值本质上部分主观，VideoPhy-2 的 1-5 分标注未报告标注者间一致性，SRCC 绝对数值的解释需谨慎；其三，打分任务把 WISA-80K 真实视频一律标为最高分 5，等于假设'真实即完美'，论文自己也承认分数坍缩到最高分的模型会因此'意外得分'，说明该真值设计偏粗糙；其四，未报告多次运行的方差与显著性检验，从 43.33%、21.67% 等取值可推测尺度估计等子任务样本量较小（约几十题），小样本波动可能影响排名结论。
独立分析的弱点
独立分析出的弱点：其一，选择题上限明显——违例批判、反事实等任务的最佳形态应是自由文本加规则化评分，目前 GPT-6 Sol 88.00% 的批判准确率可能只反映'从选项中识别'的能力而非'生成有原则批评'的能力，改进方向是引入 LLM-judge 的开放式协议并报告与选择题结果的相关性。其二，评估真值二元化：真实视频一律 5 分，无法测模型对真实视频中轻微不自然现象的敏感度，改进方向是引入带人工细粒度打分的真实视频子集，并把'两段都合理'设为合法答案以修复比较任务的过度自信问题。其三，用 Gemini 3.1 Pro 出题又考 Gemini 系模型存在循环性与自我偏好风险，改进方向是轮换多个出题模型并报告跨出题源的一致性。其四，统计报告不足：多个小任务（尺度估计、成对比较）的排名差异未配置信区间或显著性检验，改进方向是 bootstrap 重采样。其五，缺世界模型对照：'VLM 物理智能不完整'的结论若能加上基于视频生成先验或 3D 仿真的 scorer 基线（如用生成模型反推合理性）会更有说服力，也能回答'失败源于感知还是先验'。
未来方向
作者在结论中希望该诊断框架能推动'物理接地的多模态系统'研究。可延伸的方向：(1) 从诊断转向训练——用 PhysVista 的分层选项与违例标注构造物理推理的强化学习奖励或对比学习数据，检验能否同时提升三阶段能力而非顾此失彼；(2) 针对分数坍缩设计校准目标，如序数回归损失 $\mathcal{L}=-\sum_{k} y_k \log \hat{y}_k$ 加上序数距离惩罚，直接优化 SRCC 类校准指标，并显式建模'不确定/相等'选项以修复比较任务的强迫选择问题；(3) 开放式与交互式评估：论文相关工作指出物理评测需要系统化、交互式的框架，可扩展为模型主动提问获取额外观察的主动感知评测；(4) 扩展到具身与机器人闭环控制场景（PAI-Bench 已有初步覆盖），检验认知鸿沟结论在控制任务上是否复现；(5) 尺度级能力的机理研究：论文显示动态预测/反事实最依赖时序信息，可用 probing 探查模型内部是否构建了隐式动力学状态表示；(6) 应用侧：把评估阶段接入 AIGC 鉴伪管线，研究合理性打分与人类鉴伪判断的相关性，服务生成内容治理。
复现评估
复现友好度较高。代码已在 GitHub 开源（github.com/Helen1p/PhysVista），论文标注为 NeurIPS 2026 接收工作，通常伴随数据集发布。底层数据全部来自公开数据集：WISA-80K、VideoPhy-2、Multi-CamVideo，无需自建采集管线；但需注意部分问答真值依赖 Gemini 3.1 Pro 生成后人工验证，违例时间戳、比例真值等需人工标注，若作者未随代码发布最终 QA 文件，从零重建数据的成本会显著上升（需数周与标注团队）。评测侧：闭源模型走 API（GPT-6 Sol、Claude Opus 5.5、Gemini 3.1 Pro、Doubao 等），开源的 Qwen3.5 与 Qwen3-VL 系列需自备 GPU 推理，16 个模型全量复测的费用与算力属中等规模；mean IoU、Micro-F1、SRCC/PLCC 均为标准指标实现，工程难度不大。总体判断：拿到发布的数据包后复现主要表格约需数天工程工作，属于基准类论文中可复现性较好的一档。
论文图表
