ExeWorldBench：基于代码的可执行三维世界建模基准 ExeWorldBench: Benchmarking Code-Based Executable 3D World Modeling
首个以代码构建可运行3D世界来评测模型理解与实现能力的基准
前置知识
可执行世界建模（Executable World Modeling）
指让模型从视觉观察或高层意图出发，先理解一个世界的结构、机械与因果规律，再把这些理解翻译成可运行代码（本文为 Blender 程序），使场景行为由物理交互自然涌现，而不是靠关键帧或预设动画表演出来。它强调世界理解与可执行实现两个能力必须同时成立并相互验证。
本文全部任务设计与指标都围绕这对耦合能力展开，不理解这一定义就无法理解为什么代码能跑通不等于建模成功。
程序化 3D 建模
通过编写脚本（如 Blender 的 Python API）以代码方式生成几何体、装配约束、刚体物理与运动逻辑，而非手工建模。代码描述组件形状、空间位置、关节与接触关系，物理引擎在运行时求解，最终动画完全由物理模拟产生，因此代码正确性直接决定机械行为是否成立。
ExeWorldBench 所有任务都要求模型输出可在 Blender 中执行并产生目标机械运动的程序，这是整个评测的载体。
Agentic 编码框架
指 Codex CLI、Claude Code 这类把大模型接入终端、文件系统与执行环境的智能体框架，模型可以多轮写代码、运行、读报错、自我修正。与单轮 API 调用相比，它提供了迭代调试与工具使用能力，本文称之为 harness-based 设置，并与 API-based 设置分开报告。
实验显示 harness 模型可执行率接近 100% 且分数显著更高，理解这一设置差异是正确解读各结果表的前提。
VLM 裁判评估
用一个强多模态模型（本文为 Opus 5.5）作评审，把生成世界的渲染帧与参考帧或任务规格对比，按视觉结构、机械运动、ECM 等维度打 0-10 分；目标满足度则按初始状态、中间行为、最终状态三类条件逐条判 0/1。这是对动态开放式 3D 输出难以程序化验证时的替代方案。
本文所有核心分数都出自 VLM 裁判，理解其判分口径与惩罚化/条件化两种报告方式才能正确比较数字。
多阶段因果链与长程执行
指多个机械组件（斜坡、多米诺链、跷跷板、漏斗等）首尾衔接，上一阶段的运动或输出作为触发条件传播到下一阶段，形成 4 到 13 级的因果传递链条。级数越多误差越易累积，任何一处空间错位或因果断裂都会使后续阶段全部失效。
T2/T3 与长程分析的核心结论——性能随执行级数显著衰减——正是建立在这一概念之上。
研究动机
现有基准只提供碎片化证据。推理侧基准（PhysBench、PhysVista、MVP-Bench 等）用图像或视频问答考察能否推断物理属性与结果，但从不要求把理解落成可执行系统；构建侧基准（3DCodeBench、BenchCAD、Design2Code 等）只看代码能否复现外观、几何与静态结构；行为侧基准（PhysCodeBench、WorldCoder-Bench、SimuScene 等）考察的行为往往简单孤立——下落、滑动、单物体运动，轨迹甚至可通过在观测状态间插值或预设动画蒙混过关，并不能证明底层机制被真正实现；不少工作还局限于 2D 仿真或浏览器原生环境，回避了可执行 3D 世界中空间排布、依赖深度的接触、碰撞几何、机械装配与关节对齐等真正困难的部分。于是，模型能否构建不仅看起来像、而且真的能运转的世界，这一根本问题此前无人系统回答。
本文的目标是构建首个把世界理解与可执行实现纳入同一评测闭环的基准 ExeWorldBench。以代码化 3D 世界构建（Blender 程序）为载体，设计三个难度递进的任务：T1 机构可执行性，从单张参考图重建单个机械机构并执行完整运动；T2 组合可执行性，组装带空间、机械与因果依赖的多级系统；T3 意图驱动的可执行世界合成，去掉视觉参考、从文本规格出发，下分给定组件集合的 T3-1 与只给高层目标的 T3-2。配套四个维度——视觉结构 $V$、机械运动 $M$、可执行因果机制 $ECM$、目标满足度 $G$——并用执行错误修复协议把代码可运行性与建模质量解耦，最终对 GPT-6 Astra、Claude Fable 5.1 等 9 个前沿模型设置给出系统性画像与失败模式分析。
与已有工作不同的是，切入点是把评测对象从世界看起来像什么切换到世界如何运转：目标行为必须由多组件物理交互自然涌现，而非跟踪简单轨迹。其次，让世界复杂度与模型自主性同步递进——从看图复现，到组织多级因果链，再到仅凭文字意图自行设计机械实现——逐步撤走关于该怎样构建的提示。第三，通过 GPT-6 Astra (Codex CLI) 只修技术性执行错误、不改动场景结构与行为意图的修复步骤，把代码跑不通从能力信号中剥离，首次清晰量化可运行与物理正确之间的落差；附录的条件化指标进一步提供了只看可执行样本的平行读数。长程分级分析与运动参考消融则把评测从单点分数扩展为对因果复杂度与证据利用能力的刻画。
核心方法
ExeWorldBench 是纯评测基准（不含新模型），由任务体系、数据构建流水线和指标三部分组成。任务上，T1 给一张静态参考图，要求生成 Blender 程序重建机构并执行完整运动周期；T2 从原子组件库组装 4-13 级多阶段机械系统，要求级间因果可靠传递；T3-1 给 4-12 个指定组件要求组织成完整可执行系统，T3-2 只给目标、对象、状态/事件定义、初始态、物理规则与终态的高层规格，机械实现完全交给模型。指标上以 Opus 5.5 为 VLM 裁判，对渲染帧打分：$V$（视觉结构，0-10）、$M$（T1 机械运动，0-10，与完整参考帧对比）、$ECM$（T2/T3 因果机制，把执行分解为因果段逐段打分取平均）、$G$（T3-2 目标满足度）。另报告修复前 $E_1$ 与修复后 $E_2$ 可执行率；默认指标对所有样本（含执行失败）做惩罚化计算，附录另给仅可执行样本的条件化指标。
核心创新有三。其一，把理解-实现耦合作为原子评测单元：既不接受只答物理问答，也不接受只复现外观，理解必须转化为在物理引擎中持续产生正确因果交互的代码。其二，用生成-推断-验证-人工复核的证据链保证 T1 单张静态图确实可推断运动：GPT-6 Astra 经三轮交互从静态图提取证据（不允许直接描述运动），同能力的 Opus 5 仅凭图加证据写出完整运动描述，GPT-6 Astra 再做跨模态一致性校验，最后由五名标注员人工复核——从数据源头排除看图猜不出运动的坏样本。其三，ECM 把执行轨迹分解为因果段，逐段考察组件行为与阶段间交接是否正确，使多级系统的评分能定位失败环节；配合惩罚化/条件化双报告与执行错误修复协议，把工程失败与能力缺陷干净分离。这三点共同支撑了从观察驱动到意图驱动的完整难度阶梯。
方法步骤详情
数据构建分四条流水线。T1：收集公开机械原理动画，经视觉质量过滤、GPT-6 Astra 机械复杂度过滤（至少 3 个活动组件、无严重遮挡歧义）、证据链验证与人工复核。T2：先建原子组件代码库（斜坡、多米诺链、跷跷板等 15 类，总使用 850 次、斜坡占 30.12%），GPT-6 Astra 生成 4-13 级序列与级间过渡，人工确认后由 Codex CLI 组织库内实现并调整布局产出参考动画。T3-1：随机抽 4-12 个组件并校验因果可排、无孤立阶段。T3-2：按 easy/medium/hard 三档难度与预定义 schema 生成完整任务规格，Opus 5 从规格一致性、机械可行性、解可构造性验证并人工复审。评估时模型输出 Blender 程序并采样渲染帧，目标满足度按条件满足比例计算：$$\text{Goal Sat.}=\frac{1}{N}\sum_{i=1}^{N}\frac{P_i^I+P_i^B+P_i^F}{N_i^I+N_i^B+N_i^F},\qquad \text{Sat.}^c=\frac{1}{N}\sum_{i=1}^{N}\frac{P_i^c}{N_i^c},\ c\in\{I,B,F\}$$其中 $P_i^c$、$N_i^c$ 为样本 $i$ 类别 $c$ 的满足与总数。API 模型失败输出由 Codex CLI 做仅限技术性错误的修复，得 $E_2$ 与修复后指标。
技术新颖性
与既有工作相比：PhysCodeBench/SimuScene 从文本规格评测符号仿真，WorldCoder-Bench 限于浏览器原生 3D 与行为约束，3DCodeBench/BenchCAD 只考几何构建，VisPhyWorld/MPMWorlds 考视觉驱动的动力学重建，PACE-Bench 考物理条件变化下的代码适应——没有一个同时要求完整 3D 机械因果链、多阶段因果传递与无视觉参考的意图合成。本文还引入两项方法论工具：一是把执行错误修复作为标准协议，使可执行率与建模质量成为两个正交读数（附录 Table 6-9 的条件化结果进一步支持这一拆分）；二是 ECM 的因果段分解评分，把评测粒度从整个系统对不对细化到哪一段因果交接断了。harness-based 与 API-based 双设置对比也首次量化了智能体框架本身对可执行世界建模的贡献。
实验结果
四个层面的发现。其一，可运行不等于建模好：API 模型修复后可执行率普遍达 78%-95%，但五个较弱模型的惩罚化运动分 $M_2$ 全部落在 0.78-1.04（如 Kimi K3 可执行率 86% 而 $M_2$ 仅 0.80），远低于 harness 模型。其二，双雄格局：GPT-6 Astra (Codex CLI) 全面领先，T1 $V{=}7.16$、$M{=}6.32$，T2 ECM=5.25，T3-1 ECM=6.11，T3-2 目标满足度 90.14%；Fable 5.1 (Claude Code) 次之（依次 6.44/5.68、4.08、5.70、75.19%）。API 模型中最好的 GPT-6 Astra 修复后也只有 $M_2{=}5.08$、T2 ECM 2.47、$G_2{=}41.07\%$，其余 API 模型 T2 ECM 最高仅 0.15（Qwen3.8-Max、Kimi K3 为 0.00）。其三，结构好不保证动得对：Fable 5.1 (API) 修复后 T1 $V_2{=}4.04$ 但 $M_2$ 仅 3.24；Seed-2.1 T1 运动第五、T2 ECM 掉至第七。其四，初始态易、因果难：T3-2 中初始状态满足率显著高于行为与终态；13 级任务分数跌至短程约五分之一，GPT-6 Astra 在 T3-1 八级时 ECM 跌破 1.0；补运动参考帧收益有限。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T1 机构可执行性 | Mechanical Motion $M$（惩罚化，修复后） | GPT-6 Astra (Codex CLI) 6.32 | 次优 harness：Claude Fable 5.1 (Claude Code) 5.68；最佳 API：GPT-6 Astra 5.08 | 较次优 harness +11.2%，较最佳 API +24.4% |
| T2 组合可执行性 | Executable Causal Mechanism (ECM) | GPT-6 Astra (Codex CLI) 5.25 | 次优 harness 4.08；最佳 API（GPT-6 Astra 修复后）2.47 | 较次优 harness +28.7%，约为最佳 API 的 2.1 倍 |
| T3-1 组件约束合成 | ECM | GPT-6 Astra (Codex CLI) 6.11 | 次优 harness 5.70；最佳 API 3.34，其余 API 模型最高仅 0.40 | 较次优 harness +7.2%，较最佳 API +82.9% |
| T3-2 目标约束合成 | Goal Satisfaction $G$ | GPT-6 Astra (Codex CLI) 90.14% | 次优 harness 75.19%；最佳 API（GPT-6 Astra 修复后）41.07% | 较次优 harness +14.95 个百分点，约为最佳 API 的 2.2 倍 |
局限与改进
作者承认并读者可观察到的局限：其一，评测闭环存在角色重叠——数据生成与执行修复大量使用 GPT-6 Astra，规格验证用 Opus 5，裁判是 Opus 5.5，而榜首恰是 GPT-6 Astra (Codex CLI)，尽管有人工复核兜底，同源模型既当出题人又当考生的偏差无法完全排除；其二，样本量偏小，从百分比粒度推断 T1/T2 约 50 例、T3-1 约 63 例、T3-2 约 60 例，小样本下 2% 量级的指标波动并不稳定；其三，修复协议只施加于 API 模型，harness 模型自带的多轮调试能力未被等价对照，榜单差异混合了框架增益与模型能力；其四，评分依赖 VLM 看渲染帧，对深度遮挡、精确时序等三维动态细节的辨别力有限；其五，物理范围限于刚体机械（斜坡、连杆、齿轮类），未覆盖软体、流体与摩擦精细参数等；论文也未明确承诺开源代码与数据。
独立分析的弱点
独立来看还有几个弱点。第一，裁判与被评模型能力纠缠：前沿模型在复杂机械运动上本身很弱，裁判在高分区间的打分可信度存疑，建议引入物理引擎白盒校验（接触数、能量、事件时序自动比对）与 VLM 评分互证。第二，惩罚化指标把执行失败与质量问题混在一个分数里，主表叙事容易让读者低估弱模型在可执行子集上的真实能力，例如 Seed-2.1 条件化 T1 $M_1{=}2.50$ 而惩罚化仅 0.20。第三，T1 仅从单张静态图推断运动，比真实系统中常见的多视角或视频输入更苛刻，测得的是保守下界而非能力上界。第四，缺少开源权重模型与不同参数规模模型的系统对比，结论对前沿闭源模型依赖过强。第五，修复只做一轮技术性修复，未探索修复轮数、反馈粒度与最终因果正确性之间的边际收益曲线。
未来方向
可延伸方向：把 ECM 与 $G$ 的段级评分反过来用作强化学习奖励或过程监督信号，专门训练长程因果规划能力；建立 T1 到 T3 的课程式训练管线，利用 T2 原子组件库自动合成无限多级组合任务做数据增广；把生成-执行-裁判-修复闭环扩展为测试时计算扩展（test-time scaling）的系统研究，量化迭代轮数与成功率的标度关系；向软体、流体（MPM 类）、可变形装配与摩擦参数辨识扩展物理覆盖；与视频世界模型结合，用真实视频做证据提取，检验从被动观察构建可执行模拟器的能力；探索裁判去偏协议，如多裁判集成、与物理引擎符号化事件日志交叉验证、人类专家抽样校准；最后研究长程衰减的机理——上下文遗忘、误差累积还是规划视野不足——可用固定级数、递增干扰的受控实验逐一拆分。
复现评估
项目主页（helen1p.github.io/ExeWorldBench/）已公开，但正文未明确说明代码与数据集是否开源，也未给出各任务确切样本量与许可证，这是复现的最大不确定项。若数据可得，复现门槛为中高：需要 Blender 执行沙箱、多家前沿模型 API（GPT-6 Astra、Claude Fable 5.1、Opus 5.5 裁判等，全量评估的调用与渲染成本不低），以及构建 T2 参考动画所需的原子组件代码库（论文未公开实现细节）。人工复核环节（T1 五名标注员、T3 人工审核）意味着严格复现数据管线需要标注团队；只复现评测侧则相对容易。全程无训练算力需求，瓶颈在 API 费用与渲染时间。建议先复现 T1 小规模子集核对裁判评分一致性，再扩展到 T3-2。
论文图表
9 个模型在 T1 上修复前后可执行率 $E_1/E_2$ 与视觉结构 $V$、机械运动 $M$ 分数：GPT-6 Astra (Codex CLI) 以 100%/7.16/6.32 居首，Fable 5.1 (Claude Code) 100%/6.44/5.68 次之；API 模型修复后可执行率升至 78%-100%，但 $V_2$、$M_2$ 仅小幅改善（如 Kimi K3 86% 而 $M_2{=}0.80$）。
核心论点可运行不等于建模好的最直接证据，也给出结构分与运动分不对称（结构好不一定动得对）的量化依据。
T2 上各模型的可执行率、$V$ 与 ECM：Codex CLI 99%/5.33/5.25，Fable 5.1 (Claude Code) 100%/4.45/4.08；API 模型修复后可执行率 62%-93% 但 ECM 几乎归零（最高 GLM-5.3-Flash 0.15，Qwen3.8-Max 与 Kimi K3 为 0.00）。
显示多级因果链的难度跃升：单机构运动能力无法迁移到多阶段系统，是长程因果这一核心挑战的第一组证据。
在 T1 静态图之外补充参考视频抽帧后的对比：除 GPT-6 Astra 外所有模型均有提升，但幅度普遍有限。
回答了更多信息是否就能解决问题：瓶颈不在观察不足，而在把运动证据转化为可执行机械结构的能力。
T2 组件库使用统计：15 类组件共使用 850 次，斜坡 Ramp 占 30.12% 居首，其次为接料碗 11.76%、多米诺链 9.29%、漏斗 7.06%、跷跷板 6.35%，最少的多球楼梯仅 0.35%。
透露基准的组件分布与潜在偏置，是理解 T2/T3 任务构成与复现数据分布的必要信息。