VisPhyWorld：通过代码驱动的视频重建探测物理推理能力 VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction
提出基于可执行代码的框架评估MLLMs物理推理能力，发现模型依赖视觉模式匹配而非真正物理理解
前置知识
多模态大语言模型（MLLMs）
能够同时处理文本、图像等多种模态输入的大规模语言模型，如GPT-5、Gemini-3-Pro、Claude等。这些模型通过在大规模图文数据上预训练，获得了跨模态的理解和生成能力，可以回答关于图像的问题、生成描述、甚至编写代码。然而，本文指出这些模型在视觉语义理解方面的强大能力并不等同于对物理规律的真正理解。
本文的核心研究对象就是这些MLLMs，需要理解它们的能力边界才能理解为何现有评估方法存在缺陷
直觉物理（Intuitive Physics）
指人类（包括婴儿）对物理世界的基本理解，包括物体恒存性、重力、碰撞、支撑关系等。发展心理学研究表明，婴儿在几个月大时就表现出对物理违规事件的敏感性。在AI领域，直觉物理研究探讨模型是否能从视觉观察中推断物体动力学、相互作用和因果关系。本文正是要测试MLLMs是否具备这种直觉物理能力。
这是本文研究动机的理论基础，理解直觉物理才能理解为什么评估物理推理如此重要
可执行世界表示（Executable World Representations）
将视觉场景表示为可执行程序的范式，在计算机图形学和仿真中是基础方法。程序代码明确指定物体、运动和物理交互，提供可解释和可控的世界表示。近年来，MLLMs已被用于生成数据图表、矢量图形、动画等内容的可执行代码。本文创新性地将这一范式用于诊断物理推理能力，而非仅仅作为内容生成的终点。
这是本文方法论的核心，理解可执行代码如何成为物理假设的载体才能理解本文的创新
违反预期范式（Violation of Expectation, VoE）
源自发展心理学的实验范式，通过测量对物理违规事件的注视时间或预测惊讶程度来评估物理理解。在AI中，这种方法通常通过计算模型对物理合理与不合理事件的预测概率差异来实现。然而，对于主要输出文本而非预测分布的MLLMs来说，这种基于似然度的评估方法并不适用。
这是本文要解决的核心问题之一——现有评估方法不适用于MLLMs
RAFT光流
Recurrent All-Pairs Field Transforms，一种先进的光流估计深度学习方法。它通过递归地计算所有像素对之间的相关性来估计帧间运动。在本文中，RAFT被用于计算生成视频与真实视频之间的光流端点误差（EPE），作为运动一致性的定量指标。但作者也指出，单独依赖光流误差可能导致误导性结论。
理解这一评估指标的含义和局限性对于理解实验结果至关重要
研究动机
当前评估多模态大语言模型物理推理能力的方法存在根本性缺陷。现有基准测试如CLEVRER、GRASP、MVPBench等主要依赖视觉问答（VQA）或违反预期（VoE）范式。这些方法要求模型从多个选项中选择答案，本质上是识别型任务，允许模型通过数据驱动的猜测和表面模式匹配来获得正确答案，而非真正理解物理因果关系。具体而言，VQA任务可以奖励记忆化的先验知识和表面级的模式匹配，而不是真正的因果物理理解。对于MLLMs来说，这一挑战尤为突出，因为它们主要输出文本，无法提供预测似然度或惊讶度量，而这些正是评估生成式世界模型常用的方法。此外，即使模型能正确描述场景内容，也无法保证其能正确参数化简单的牛顿动力学，更不用说在3D环境中正确模拟物理过程。
本文的目标是本文提出VisPhyWorld框架，旨在通过要求模型生成可执行的模拟器代码来评估物理推理能力，从而实现物理推理与渲染的分离。具体目标包括：提出第一个通过代码重建和再模拟来评估MLLMs物理推理能力的范式；引入VisPhyBench统一评估协议，包含来自108个物理模板的209个场景，覆盖2D和3D环境；提供对当前MLLMs的深入分析，揭示尽管这些模型具有强大的语言能力，但它们无法准确把握现实世界运动的基本动力学规律。
与已有工作不同的是，本文的独特切入角度在于将可执行代码作为物理假设的载体，而非仅仅是内容生成的终点。与以往将可执行视觉生成视为最终目标的工作不同，本文将可执行世界表示作为物理推理的诊断接口。这种方法的优势在于：生成的代码本身就是推理产物，可以直接检查、编辑和证伪；物理假设与执行完全分离，允许在固定物理引擎下进行可控比较；模型必须明确提交物理假设，而非仅仅选择答案或生成文本推理。这使得物理理解变得可测试、可验证，而不再是不透明的黑箱。此外，本文发现物理后端的选择（如Three.js vs P5.js）对重建质量有显著影响，这表明当前MLLMs在没有真实物理求解器的情况下，无法一致地推断和应用牛顿动力学，而是依赖启发式运动生成。
核心方法
VisPhyWorld的核心思路是将物理理解评估转化为一个可执行的代码生成任务。直觉上，如果一个模型真正理解了物理规律，它应该能够将这种理解表达为可执行的代码，并通过物理引擎的执行来验证其假设。整个框架采用两阶段管道：第一阶段，模型接收两个关键帧和可选的物体检测信息，输出文本运动分析和可执行的模拟代码；第二阶段，代码在物理引擎中执行，生成预测视频。这种方法将物理推理（代码生成）与物理执行（引擎渲染）完全分离，使得推理过程完全透明可检查。技术路线上，框架实现了从视觉观察到可执行假设的映射，输入为起始帧、后续帧和检测上下文，输出为文本分析、JSON规格、可执行程序和渲染视频。
本文的核心创新在于将可执行代码作为物理假设的可测试载体。与传统VQA范式相比，VisPhyWorld要求模型明确提交物理假设而非选择答案。这一创新的本质区别体现在三个方面：首先，推理变得可检查——生成的代码直接暴露模型的物理逻辑，可以人工审查其是否正确应用了重力、摩擦、碰撞等物理规律；其次，假设变得可证伪——通过执行代码并比较生成视频与真实视频，可以定量评估物理假设的正确性；第三，错误变得可归因——当生成结果不正确时，可以精确定位是物体发现错误、状态初始化错误还是接触建模错误。这种范式转变使得物理理解评估从主观判断变为客观测量。
方法步骤详情
VisPhyWorld的方法步骤如下：第一步，输入准备：从原始视频序列中提取两个关键帧（起始帧和后续帧），使用GPT-5.2对第一帧进行物体检测，生成结构化的检测上下文，包含物体类别、边界框和粗略属性。第二步，代码生成：将输入送入MLLM，要求模型首先生成3-8句文本运动分析（描述物体运动和物理原因），然后生成一个完整的HTML文档，包含模拟代码。对于2D场景，使用P5.js或Three.js配合物理求解器；对于3D场景，使用Three.js配合Cannon.js刚体动力学。第三步，代码验证与修复：对生成的代码进行轻量级验证（如检查canvas存在、数值状态有限），如果首次执行失败，将错误日志反馈给模型进行一次修复尝试。第四步，物理执行：在固定配置下执行代码，使用确定性的时间步长、相机参数和渲染设置，生成预测视频。第五步，多维度评估：使用五类指标评估生成视频——重建质量、视觉语义一致性、文本-视频一致性、运动物理合理性和主观整体质量。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在评估范式上，这是第一个通过代码重建和再模拟来评估MLLMs物理推理能力的方法，将物理理解从被动识别变为主动重建。其次，在方法设计上，通过分离推理（代码生成）和执行（物理引擎），实现了物理假设的完全透明和可测试性，这是传统VQA和视频生成方法无法实现的。第三，在实验发现上，本文揭示了当前MLLMs的一个关键局限：它们在没有真实物理求解器的情况下无法一致地推断牛顿动力学。具体证据包括：使用Three.js和P5.js（支持刚体物理求解器）的模型比使用SVG和Manim（不支持物理求解器）的模型表现显著更好；GPT-5使用Three.js时LPIPS比使用P5.js降低近40%，SSIM从0.74提升到0.94。此外，跨引擎压力测试显示场景级RAFT-EPE排名在不同引擎间高度相关（平均Spearman相关系数为0.84），表明本文结论并非由特定后端的编码工件驱动。
实验结果
实验结果揭示了多个关键发现。首先，在整体性能方面，Gemini-3-Pro配合Three.js表现最佳，LPIPS仅为0.14（越低越好），CLIP-Img达到0.90，DINO为0.84，Gemini整体评分最高达3.80。GPT-5配合Three.js紧随其后，LPIPS为0.17，CLIP-Img为0.89，DINO为0.86。这些结果表明，当任务被设定为在固定物理引擎下执行可执行假设时，大多数现代MLLMs能够高保真地重建合成物理事件。其次，视觉和语言推理能力存在分离——某些模型-后端组合在感知和语义对齐方面表现出色（如Gemini-3-Pro的LPIPS最低），但语言推理不一定同样强（如GPT-4.1的BERT-F1分数最高，尽管LPIPS更高）。第三，代码后端对重建质量有显著影响：Three.js变体通常比P5.js对应物重建更好，例如GPT-5使用Three.js时LPIPS降低近40%，SSIM从0.74提升到0.94。第四，直接参数恢复实验表明，模型能正确恢复重力（误差为0），但在接触参数上存在非平凡误差——恢复系数误差0.16-0.18，摩擦力误差0.10-0.11，初始速度误差高达1.69-2.39。第五，Qwen3-VL-Plus配合p5.js虽然获得了最低的RAFT-EPE（20.82），但Gemini评分仅为1.46，表明光流误差单独使用可能产生误导。最后，97.7%的基准测试运行在回退前产生了有效的重建视频。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 2D/3D物理场景重建 | LPIPS↓ | 0.14（Gemini-3-Pro+Three.js） | 0.34（SVD img2vid） | 降低59% |
| 视觉语义一致性 | CLIP-Img↑ | 0.90（Gemini-3-Pro+Three.js） | 0.67（SVD img2vid） | 提升34% |
| 物体结构保持 | DINO↑ | 0.88（Veo-3.1） | 0.65（SVD img2vid） | 提升35% |
| 文本分析一致性 | BERTScore-F1↑ | 0.85（GPT-4.1+Three.js） | N/A（SVD无此能力） | 代码方法独有能力 |
| 运动一致性 | RAFT-EPE↓ | 33.65（GPT-5+Three.js） | 45.46（SVD img2vid） | 降低26% |
| 整体物理合理性 | Gemini评分↑ | 3.80（Gemini-3-Pro+Three.js） | 1.43（SVD img2vid） | 提升166% |
局限与改进
本文存在以下局限性：首先，实验仅在合成的、模拟器驱动的场景上进行，具有受控的物体布局和相机运动，泛化到高分辨率、真实世界视频的能力尚未测试。其次，由于当前MLLMs的能力限制和现代引擎的复杂性，VisPhyWorld只能可靠地为相对简单的刚体场景生成代码——作者尝试了Unreal Engine等大型引擎，但发现现有MLLMs无法在少量调用内自主生成和修复模拟代码来渲染稳定、视觉合理的视频。第三，目前仅针对具有中等运动复杂性的短视频片段，未涉及长时程交互、复杂3D推理或风格化/高度杂乱的场景。从作者观察来看，即使是最强的模型（GPT-5）在3D场景上也比2D场景更具挑战性，这表明当前MLLMs的物理推理能力仍有很大提升空间。此外，Gemini评分3-4分表明大多数模型只能部分恢复场景，仍存在明显的运动或接触错误，距离完美物理理解（10分）还有很大差距。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，在场景复杂度方面，当前基准测试仅包含相对简单的刚体交互（球碰撞、盒子滑动、堆叠倒塌），缺乏流体、布料、关节物体等更复杂的物理现象，这限制了结论的普适性。其次，在评估指标方面，虽然作者指出RAFT-EPE单独使用可能产生误导（如Qwen3-VL-Plus获得最低EPE但Gemini评分也最低），但尚未提出一个统一的物理合理性指标，仍需依赖多个指标的综合判断。第三，在代码生成方面，模型生成的代码质量差异很大，例如GPT-5的成功率高达99%，而Qwen3-VL-Plus在Three.js上仅为93.6%，这种差异可能部分源于模型对特定API的熟悉程度而非物理理解能力。改进建议包括：引入更复杂的物理场景模板（如流体、布料、关节物体）；开发统一的物理合理性评估指标；以及设计更公平的代码生成接口，减少API熟悉度对结果的影响。
未来方向
作者提出的未来研究方向包括：集成更强的3D感知能力用于场景初始化，开发具有领域特定微调的代理工作流。基于本文成果，还可以延伸以下方向：首先，将框架扩展到更复杂的物理现象，如流体动力学、布料模拟、关节物体等，这需要更强的代码生成能力和更复杂的物理引擎。其次，探索主动学习范式，让模型通过执行代码获得物理反馈，迭代改进其物理理解。第三，将可执行代码范式应用于机器人学，让机器人通过生成和执行模拟代码来预测动作后果。第四，开发混合表示方法，结合像素空间生成和代码驱动模拟，取长补短。最后，研究如何将物理先验知识注入MLLMs的训练过程，从根本上提升其物理推理能力，而非仅仅在推理时依赖物理引擎。
复现评估
本文在可复现性方面提供了详细的支持。代码已在GitHub开源（https://github.com/TIGER-AI-Lab/VisPhyWorld），包含完整的提示模板、渲染协议和评估流程。数据方面，VisPhyBench包含209个场景，来自108个物理模板，每个场景都配有首帧JSON标注。算力方面，本地渲染和评估在配备4块NVIDIA RTX A6000 GPU的工作站上运行，API模型通过提供商服务查询。评估协议高度确定性：固定物理时间步长、相机参数、渲染设置，确保不同模型运行间的可比性。然而，复现存在一定难度：需要访问多个商业API（GPT-5、Gemini-3-Pro、Claude Sonnet 4.5等），成本较高；物理引擎配置和版本需要严格匹配；评估指标涉及多个专业库（piq、RAFT等）。总体而言，本文的可复现性在AI评估研究中属于较高水平，但完全复现仍需相当的计算资源和工程投入。
论文图表
