WorldBench：为世界模型诊断评估解耦物理概念 WorldBench: Disambiguating Physics for Diagnostic Evaluation of World Models
提出概念解耦的视频基准，定量评估世界模型对物理常数和直觉物理的理解
前置知识
世界基础模型 (World Foundation Models)
指能够理解和预测真实世界动态的大规模生成模型，通常基于视频生成架构（如自回归 Transformer 或扩散模型）。这些模型通过在海量视频数据上训练，学习物理世界的运动规律，目标是生成物理上合理、时间上一致的视频序列。代表性模型包括 NVIDIA 的 Cosmos、Genie 等，它们声称可以作为真实世界的合成数据生成器，用于机器人规划、自动驾驶训练等下游任务。
本文的核心目标就是评估这类模型的物理理解能力，WorldBench 的设计初衷就是填补现有评估框架对世界基础模型物理一致性验证的空白。
直觉物理 (Intuitive Physics)
源自发展心理学的概念，指人类（特别是婴儿）通过观察就能快速习得的基本物理规律认知，包括物体恒存性（物体被遮挡后仍然存在）、支撑关系（物体如何被支撑）、运动学（物体如何运动）和透视/尺度（物体大小随距离变化）。这些概念被认为是物理推理的认知基础，通常在人类 4-7 个月大时就开始发展。
WorldBench 的第一个子集专门测试这四类直觉物理概念，评估世界模型是否从大规模视频数据中习得了这些基础物理认知。
物理参数估计 (Physical Parameter Estimation)
指从视频中定量提取物理常数（如重力加速度 g、摩擦系数 μ、流体粘度 η）的任务。这需要从单目视频中估计物体的 3D 位置，然后通过曲线拟合（如二次拟合求加速度、线性回归求终端速度）来计算物理参数。对于粘度估计，使用斯托克斯公式 η = 2r²(ρs - ρf)g / 9vt，其中 vt 是终端速度。
WorldBench 的第二个子集就是通过物理参数估计来定量评估世界模型的物理准确性，这是评估模型能否作为合成数据生成器的关键指标。
mIoU (平均交并比)
衡量分割质量的标准指标，计算预测分割区域与真实分割区域的交集除以并集。在 WorldBench 中，使用 SAM2 对生成视频进行目标分割，然后与真实分割进行逐帧比较。mIoU 值越高（最高为 1.0），表示模型生成的物体运动轨迹与真实轨迹越接近。
这是 WorldBench 直觉物理子集的核心评估指标，用于量化模型预测物体动态（位置、形状、遮挡）的准确性。
终端速度 (Terminal Velocity)
物体在流体中下落时，当重力与流体阻力平衡时达到的恒定速度。在 WorldBench 的粘度实验中，钢球在甘油、玉米糖浆或蜂蜜中下落，通过估计终端速度 vt 来反推流体粘度。终端速度与粘度成反比：粘度越高，终端速度越慢。
这是 WorldBench 评估流体物理理解的核心物理量，测试世界模型是否能准确模拟不同粘度流体中的物体运动。
研究动机
现有物理推理基准测试存在严重的概念纠缠问题。以 PHYRE、CLEVRER 为代表的基准，其场景设计要求模型同时理解透视准确性、碰撞动力学和支撑关系等多个概念，当模型表现不佳时，研究者无法定位到底是哪个物理概念出了问题。此外，Physion、IntPhys2 等基准虽然提供了一定程度的概念细分，但仍然缺乏对特定物理参数（如重力加速度 g=9.81 m/s²）的实验级测试。更关键的是，这些基准依赖粗粒度的二值指标（如物体接触预测），无法捕捉物体动力学（速度、加速度、旋转）、变形或遮挡等细致物理现象。这导致一个核心问题：当世界模型声称能生成物理上合理的视频时，我们无法验证它是否真正理解了物理规律，还是仅仅记住了视觉上的统计规律。
本文的目标是WorldBench 的目标是提供一个概念特定、解耦的评估框架，能够严格隔离和评估单个物理概念或定律。具体而言，它要实现两个目标：第一，区分视觉上合理（visually plausible）与物理上准确（physically accurate）的模型输出；第二，诊断现代世界基础模型在特定物理概念上的失败模式。这要求基准既要有直觉物理层面的定性评估（物体恒存性、支撑关系等），也要有物理参数层面的定量评估（重力加速度、粘度、摩擦系数）。
与已有工作不同的是，WorldBench 抓住了一个被忽视的关键点：现有基准无法区分看起来对和真的对。例如，一个世界模型可能生成了抛物线轨迹的球（视觉上合理），但其加速度可能是 3.5 m/s² 而不是 9.81 m/s²（物理上错误）。这种差异在现有基准中完全无法检测。WorldBench 的独特切入角度是引入约束视频预测任务：不仅要生成视觉上合理的视频，还要确保生成的运动遵守特定的、已知的物理参数。这使得评估从好不好看升级到对不对，为世界模型作为合成数据生成器的可行性提供了严格的验证框架。
核心方法
WorldBench 的核心思路可以类比为物理考试：不是让模型做选择题（二值指标），而是让它做计算题（定量估计物理参数）。整个方法分为两个互补的评估子集。第一个子集像概念理解题，测试模型对物体恒存性、支撑关系、运动物理和透视/尺度这四类直觉物理概念的定性理解。第二个子集像实验设计题，要求模型生成的视频能准确重现重力加速度、流体粘度和摩擦系数等物理常数。技术路线上，所有视频都通过 Kubric（PyBullet + Blender）生成，确保物理模拟的准确性和渲染质量。评估时，给模型提供初始帧，让它生成后续视频，然后通过 SAM2 分割提取物体轨迹，与真实轨迹进行定量比较。
WorldBench 最本质的创新是引入了解耦评估的概念。现有基准的问题在于，一个测试场景同时涉及多个物理定律（如一个球滚下斜坡的场景同时涉及重力、摩擦力和支撑关系），导致无法定位失败原因。WorldBench 的解决方案是精心设计每个测试场景，使其只测试一个特定的物理概念或参数。例如，粘度实验通过让钢球在流体中达到终端速度来隔离粘度的影响，排除了其他变量的干扰。这种设计使得研究者可以精确地诊断出模型在哪个物理概念上失败，而不是只知道整体表现不好。另一个关键创新是引入了物理参数估计的定量评估，通过公式（如 η = 2r²(ρs - ρf)g / 9vt）将视频生成任务转化为物理参数的数值估计任务，提供了前所未有的评估精度。
方法步骤详情
方法分为两个子集的具体步骤。直觉物理子集：（1）为每个概念设计 3-5 个场景，每个场景 25 个视频，通过随机化物体类型、位置和材质生成多样性；（2）使用 Kubric（PyBullet 物理引擎 + Blender 渲染器）生成 132 帧视频，包含真实分割、深度、法线和光流；（3）将初始帧输入世界模型，让它生成后续视频；（4）使用 SAM2 对生成视频进行目标分割，与真实分割逐帧计算 mIoU。物理参数子集：（1）用 iPhone 13 慢动作相机采集真实视频，使用棋盘格进行相机标定；（2）设计三类实验：重力（自由落体/抛体运动）、粘度（钢球在流体中下落）、摩擦（钢块在斜面上滑动）；（3）从视频中提取物体 3D 位置，通过曲线拟合估计物理参数（如二次拟合求加速度、线性回归求终端速度）；（4）将估计值与真实值比较，评估模型的物理准确性。
技术新颖性
WorldBench 的技术新颖性体现在三个方面。第一，它是首个同时具备直觉物理和物理参数估计两个子集的基准，实现了从定性到定量的全面评估。第二，它引入了约束视频预测任务，要求视频输出不仅要视觉合理，还要遵守特定物理参数，这与现有基准的二值指标（物体接触预测）形成鲜明对比。第三，它的物理参数估计评估流程设计精巧：通过棋盘格标定确保相机参数准确，通过 SAM2 分割确保物体跟踪可靠，通过斯托克斯公式等物理模型将视频生成转化为参数估计问题。这种设计使得评估结果具有明确的物理意义（如模型估计的重力加速度是 4.2 m/s²，而真实值是 9.81 m/s²），而不仅仅是分割准确率提高了 5% 这种抽象指标。
实验结果
WorldBench 对 Cosmos 家族（1 AR、1 DM、2 2B/14B、2.5 2B）和图像到视频模型（Wan 2.2、Hunyuan Video、CogVideoX）的评估揭示了几个关键发现。首先，在直觉物理子集（模拟视频）中，Cosmos-1（33 帧版本）的平均前景 mIoU 最高（0.4508），但整体表现仍然较低，说明模型在预测物体动态方面存在明显缺陷。其次，在物理参数估计子集（真实视频）中，所有模型都表现出极高的方差。以重力实验为例，Cosmos-1 AR 的自由落体加速度估计为 4.215 ± 3.713 m/s²，与真实值 9.81 m/s² 相差甚远。粘度实验表现更差，Hunyuan Video 对玉米糖浆的粘度估计甚至超过 50 Pa.s（真实值约 6.0 Pa.s）。第三，一个关键发现是：模型倾向于生成视觉上合理的运动轨迹（如抛物线），但不遵守物理参数（如加速度错误）。这表明模型可能记住了视觉统计规律，而非真正的物理理解。第四，模型在长尾分布材料（如蜂蜜、塑料）上表现更差，倾向于将极端值估计为平均值。第五，图像到视频模型在重力任务上表现尤其糟糕，甚至出现负加速度（物体减速），这可能是因为缺乏时间信息。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 直觉物理（模拟视频） | 平均前景 mIoU | Cosmos-1 (33F): 0.4508 | Cosmos-1 AR: 0.4225, Cosmos-2.5 (2B): 0.3488 | Cosmos-1 (33F) 比 AR 版本高 6.7% |
| 重力加速度估计（真实视频） | 自由落体加速度 (m/s²) | Cosmos-2 (2B): 8.927 ± 4.791 | 真实值: 9.81, Cosmos-1 AR: 4.215 ± 3.713 | Cosmos-2 (2B) 最接近真实值，误差约 9% |
| 粘度估计（真实视频） | 甘油粘度 (Pa.s) | Cosmos-1 DM: 0.603 ± 1.191 | 真实值: 1.2, Cosmos-1 AR: 7.8 ± 1.04 | Cosmos-1 DM 最接近真实值，但方差大 |
| 摩擦系数估计（真实视频） | 木头摩擦系数 | Cosmos-1 AR: 0.541 ± 0.124 | 真实值: 0.2-0.5, 真实视频估计: 0.35 ± 0.05 | 多数模型估计值偏高，但能保持正确排序 |
局限与改进
WorldBench 的局限性包括作者承认的和我观察到的。作者承认的局限：（1）当前只覆盖了有限的物理概念（4 类直觉物理 + 3 类参数估计），计划扩展到碰撞力学、光学等；（2）视频输入限制了可评估的模型范围，目前只有 Cosmos 是开源的视频到视频模型；（3）每个实验设置都需要精心设计和验证，扩展成本高。我观察到的局限：（1）评估流程依赖 SAM2 分割，虽然验证显示 mIoU 达 0.9445，但在复杂遮挡场景下可能仍有误差；（2）物理参数估计实验假设物体在平行于相机平面的平面内运动，深度恒定，这限制了实验的真实性；（3）直觉物理子集的评估指标（mIoU）仍然较为粗糙，无法区分物体位置错误和物体形状错误；（4）没有评估模型在交互式场景（如机器人操控）中的物理理解能力。
独立分析的弱点
WorldBench 存在几个可改进的弱点。第一，物理参数估计实验的设计过于理想化：所有物体都在平行于相机平面的平面内运动，深度恒定，这与真实世界场景（物体在 3D 空间中自由运动）相差甚远。改进方向：引入深度估计模块（如单目深度估计网络），允许物体在 3D 空间中运动。第二，直觉物理子集的场景设计相对简单（如球滚下斜坡、物体穿过柱子），缺乏复杂交互场景（如多个物体同时碰撞、流体与固体交互）。改进方向：引入更复杂的物理场景，如流体动力学、刚体碰撞链式反应。第三，评估指标过于单一：直觉物理子集只用 mIoU，物理参数子集只比较数值误差。改进方向：引入多维度指标，如物理一致性（能量守恒、动量守恒）、时间平滑性（加速度是否连续）等。第四，没有评估模型的泛化能力：所有测试场景都是训练数据中常见的物理现象，没有测试模型对新物理规律的适应能力。
未来方向
基于 WorldBench 的成果，未来研究可以沿几个方向展开。第一，扩展物理概念覆盖：作者计划添加碰撞力学、光学等任务，这将使评估更全面。第二，开发物理感知的视频生成模型：当前模型主要依赖视觉先验，需要引入物理约束（如能量守恒）来提升物理准确性。第三，探索物理参数可控的生成模型：允许用户指定物理参数（如 g=9.81 m/s²），让模型生成符合这些参数的视频。第四，将 WorldBench 应用于其他领域：如机器人模拟（评估 sim-to-real 迁移）、自动驾驶（评估场景理解）、医学影像（评估生理过程模拟）。第五，开发物理可解释的评估指标：不仅评估对不对，还要解释为什么对/错，如通过注意力图分析模型关注了哪些物理线索。
复现评估
WorldBench 的复现性较好。开源情况：基准代码和数据集计划开源（论文中提到 prompts 将随基准发布），Kubric 是开源的物理仿真框架，PyBullet 和 Blender 都是开源工具。数据集：模拟视频可通过 Kubric 自动生成，真实视频需要 iPhone 13 慢动作相机和物理实验设备（棋盘格、流体、斜面等）。算力需求：评估需要运行 SAM2 分割（可在 GPU 上实时运行）和世界模型推理（Cosmos-2 14B 需要较大显存）。复现难度：中等。主要挑战在于物理实验的精确控制（如温度影响粘度、相机标定精度）和 SAM2 分割的准确性验证。论文提供了详细的实验设置描述和验证流程（Table 2），有助于复现。
论文图表
