Omni-WorldBench：面向世界模型交互能力的综合评测基准 Omni-WorldBench: Towards a Comprehensive Interaction-Centric Evaluation for World Models

Omni-WorldBench的评测流程分为四个主要步骤。第一步是评测提示构建（Omni-WorldSuite）。采用两种策略：数据驱动策略从开源数据集（DriveLM用于自动驾驶、InternData-A1用于具身机器人、Sekai用于游戏）提取首帧图像和相机轨迹，用Qwen-VL生成描述并人工校验；概念驱动策略先构建原型概念集（场景类型、目标物体、动作），然后随机采样组合，用ChatGPT-5.2生成文本提示和相机轨迹，经Gemini和DeepSeek-R1交叉验证后人工精修，首帧图像通过FLUX.1-dev生成并经人工筛选。第二步是结构化信息提取。使用GroundingDINO和SAM提取实体轨迹掩码序列 $\{traj_k\}_{k=1}^N$，用RAFT估计光流场 $F$，通过光流变化近似估计相对相机运动。第三步是三维度指标计算。生成视频质量维度使用VBench的时序闪烁、运动平滑度、动态程度和WorldScore的内容对齐指标；相机-物体可控性维度包含相机控制（WorldScore方法）、物体控制（VQA方法替代规则匹配）和场景转换检测（PySceneDetect）；交互效果保真度维度包含InterStab-L（回访帧对的结构相似度+语义余弦相似度，带动态门控）、InterStab-N（非目标区域光流能量的指数映射）、InterCov（VLM验证物体行为一致性）和InterOrder（事件对时序一致性比率）。第四步是Agent-based聚合。三个维度各自计算平均分，然后由MLLM聚合代理根据提示语义分配权重 $w_1, w_2, w_3$，最终计算 $AgenticScore = w_1A_I + w_2A_G + w_3A_C$。

Omni-WorldBench在技术新颖性上体现在以下几个方面。首先，在评测理念层面，本文首次将「交互响应」作为世界模型评测的核心维度，这与此前所有基准（VBench关注视觉质量、WorldScore关注相机控制、WorldModelBench关注任务场景）形成鲜明对比。这种理念转变反映了对世界模型本质的更深刻理解：世界模型的价值不在于生成好看的视频，而在于对交互动作的正确响应。其次，在指标设计层面，InterStab-L和InterStab-N的双稳定性评估机制是全新的设计。InterStab-L通过回访帧对评估长期一致性，其创新在于加入了动态门控机制——如果视频是静态的（四个锚点区间的平均相似度超过阈值 $\tau_{static}$），则惩罚为零，从而避免了「静态视频得高分」的退化情况。InterStab-N则评估非目标区域的稳定性，通过光流能量的指数映射 $InterStab_N(s) = \exp(-E_{non}(s)/(\beta \times \min(H,W)))$ 来量化。这种双稳定性设计能够同时检测「目标物体变化不足」和「非目标区域变化过多」两类问题。再次，在评估框架层面，Agent-based自适应聚合机制是评测领域的新范式。传统方法使用固定权重平均所有指标，而本文让MLLM根据提示语义动态决定权重，这使得评估能够适应不同任务的特点。最后，在覆盖范围层面，Omni-WorldSuite的1068个评测提示覆盖了三个交互层级、多种场景类型和六大数据标注维度（物理原理、常识、因果关系、相机运动、闭环一致性、空间约束），这是目前覆盖范围最广的世界模型评测集。

基于对论文的深入分析，我认为Omni-WorldBench存在以下几个值得关注的弱点。第一，交互层级的划分过于粗糙。当前的三级划分（物体自身、局部交互、全局交互）虽然直观，但未能充分反映交互的复杂性梯度。例如，Level 3中的「整理房间」和「机械臂抓取瓶子递给人」在交互复杂度上差异巨大，但被归为同一层级。建议引入更细粒度的交互复杂度指标，如交互涉及的物体数量、因果链长度、状态变化维度数等。第二，VLM-based评估的可靠性存疑。InterCov和InterOrder严重依赖VLM来判断交互效果的正确性，但VLM对物理规律的理解可能存在偏差。例如，对于「球从斜面滚下」的场景，VLM可能无法准确判断球的运动轨迹是否符合牛顿力学。建议引入基于物理模拟的ground-truth验证，或使用专门训练的物理理解模型替代通用VLM。第三，评测提示的多样性仍可提升。当前评测提示主要集中在常见场景，缺乏对极端条件（如高速碰撞、微观物理、超大规模场景）的覆盖。建议引入更多边界案例和对抗性测试，以更全面地评估模型的鲁棒性。第四，AgenticScore的权重分配机制透明度不足。虽然论文说明MLLM根据提示语义分配权重，但未详细说明权重分配的具体逻辑和可解释性。建议提供权重分配的可视化分析，帮助研究者理解不同任务的评测重点差异。

基于Omni-WorldBench的成果，未来研究可以从以下几个方向展开。第一，扩展评测到更复杂的交互场景。当前评测主要集中在1-3个物体的交互，未来可以引入多智能体交互、长序列任务规划、以及涉及物理引擎级精度的复杂场景。例如，评测模型在「烹饪一顿饭」或「组装一件家具」等需要数十步操作的长序列任务中的表现。第二，引入物理ground-truth验证。当前评测依赖VLM判断交互效果的正确性，未来可以结合物理模拟器（如MuJoCo、Isaac Gym）生成ground-truth视频，通过与模拟结果的对比来更准确地评估模型的物理理解能力。第三，发展自适应评测策略。当前评测使用固定的提示集，未来可以根据模型的实时表现动态调整评测难度和重点，实现更高效的模型能力诊断。第四，构建交互能力的细粒度评估维度。当前的三个评测维度（视频质量、可控性、交互保真度）仍较为宏观，未来可以进一步细化为物理规律遵循、因果推理、常识理解、空间约束等子维度，为模型改进提供更具体的指导。第五，将评测基准扩展到多模态交互。当前评测仅涉及视觉和文本模态，未来可以引入触觉反馈、听觉信号等多模态交互的评估，更全面地衡量世界模型的交互能力。

从复现性角度来看，Omni-WorldBench具有较好的可复现基础。论文承诺将公开发布Omni-WorldBench，包括评测提示集Omni-WorldSuite和评估框架Omni-Metric。评测提示的构建流程清晰且有详细说明，包括数据驱动和概念驱动两种策略的具体实现步骤。评测指标的计算方法有明确的数学定义和公式描述，如InterStab-L的相似度计算、InterStab-N的光流能量映射、InterOrder的事件对一致性比率等。然而，复现仍面临以下挑战：第一，计算资源需求较高。评测依赖多个预训练模型（GroundingDINO、SAM、RAFT、VLM等），需要GPU资源进行推理；对18个模型的完整评测需要NVIDIA H20级别的计算资源。第二，部分依赖闭源模型。概念驱动的提示构建使用了ChatGPT-5.2、Gemini等闭源模型，可能影响完全复现。第三，人工验证环节难以完全复制。评测提示的构建包含人工校验和精修步骤，不同标注团队可能导致提示质量的差异。总体而言，对于具备基本GPU资源和MLLM访问权限的研究团队，复现Omni-WorldBench的核心评测流程是可行的。