HappyWorld-Bench：视频、空间与具身世界模型的六级能力统一评测基准 HappyWorld-Bench
用W1–W6六级能力框架统一评测视频、空间、具身世界模型的交互可靠性
前置知识
世界模型（World Model）
智能体用来预测『环境将如何响应自身动作』的内部表示，思想可追溯到认知科学的内部模型与认知地图（Tolman, 1948）。现代实现多为像素空间的动作条件视频生成，或潜空间的递归状态模型。核心承诺是：若智能体能在内部模拟未来，就能选出不需真实试错的好动作。
全文评测的对象就是世界模型，而其前提『模拟的世界必须可靠』——几何一致、物理合理、时间持久、响应控制——正是三条赛道所有评测设计的出发点。
W1–W6世界能力层级
本文提出的六级递进分类：W1感知世界（从视觉/多模态条件构造语义正确、空间连贯的表征）、W2交互世界（模拟动作条件的状态转移）、W3持久世界（长时程、视点变化、遮挡与重访下保持全局结构与状态）、W4可编程世界（对物体/事件/规则显式干预并因果传播）、W5可扩展世界（多智能体共享的无界世界）、W6统一世界（生成、仿真、持久、交互、规划一体化）。
它是三条赛道共享的评测坐标轴，论文所有表格、指标分组和结论都按这个层级组织，不懂层级就读不懂结果表。
Arena与Elo等级分
源自国际象棋的相对评分制度：两个模型的输出匿名并排（A/B对比），人类投票选出更好的一方，按全部对局结果迭代估计各模型的Elo分。Elo只反映相对人类偏好，不直接等于绝对能力。文中具身赛道收集了62,592次盲投票。
每条赛道都配套HappyWorld-Arena，Elo是论文的主排名依据（如视频赛道HappyOyster 1263对Genie 3 1206），也是自动指标之外的独立校验。
VLM裁判式自动指标
用Gemini、Qwen3-VL等视觉语言模型按预定义checklist对生成视频逐项断言打分，如物理因果性（PC）、内容因果性（CC）、编辑有效性（IV）；再辅以专用模型指标：MUSIQ评画质、HPSv3评感知偏好、RAFT光流评动态、DA3重投影评几何一致、SAM2.1+DINOv2评主体身份、TAPIP3D评跨视角点轨迹。
论文的细粒度能力分数几乎全部由这类自动指标构成（视频轨道15列、具身轨道17列指标），理解其构造才能读懂Tables 3–17并判断分数含义。
3D高斯泼溅（3DGS）与可导航几何
用大量各向异性高斯椭球显式表示场景，可实时光栅化渲染，是Marble、Lyra、FlashWorld等空间世界模型的输出格式。空间赛道不满足于渲染，还把导出的几何转成导航网格检查最大连通可通行区域（可导航比），并在物理仿真中向标注支撑面投掷盘子测稳定放置率。
空间赛道最重要的结论之一——Lyra/FlashWorld可渲染但放置率约0——正源于『渲染漂亮但几何不可用』的缺陷，不了解3DGS与导航网格就看不出问题所在。
研究动机
世界模型评测长期碎片化：视频侧已有VBench 2.0、WorldScore、WorldMark、iWorld-Bench、WBench、MBench、WorldRoamBench、PlayWorld等，各自只覆盖可控性、物理合理性、记忆、长时程一致性中的某几个子集，且都局限在视频模型形态内；空间侧的Eval3D、SceneEval关注资产质量与场景合理性；具身侧的评测接口与目标又与前两者完全不同。这种割裂带来具体后果：一个生成画面惊艳的视频模型可能在长时程rollout和场景重访中丢失物体身份与世界状态；一个视觉完整的空间场景可能缺乏可导航或可供物理操作的几何；一个能生成逼真动作条件视频的具身模型可能无法保持状态、也无法产生预期的动作后果。由于缺少一个统一基准去系统探测『世界在动作、记忆与干预之下的行为』，学界难以判断当前系统是否具备超越表面生成的可靠世界建模能力。
本文的目标是本文要为『可靠的生成世界』给出可操作的定义与统一度量。具体目标有三：其一，建立W1–W6六级世界能力层级（从感知构造、交互仿真、持久状态、可编程干预、可扩展共享世界到统一世界建模），作为跨模型形态的共同词汇；其二，把该框架实例化为三条互补赛道——视频世界模型赛道（1,138条prompt，覆盖W1–W5）、空间世界模型赛道（300个场景，覆盖W1–W5）、具身世界模型赛道（254个正式用例，覆盖W2–W4），合计1,692个评测实例，横跨机器人、城市/室内、自然、交通、游戏等九大应用域；其三，搭建HappyWorld-Arena人类A/B对比平台产出各赛道Elo等级分，并配套全新设计的自动指标刻画行为正确性，最终对14个视频模型、9个空间系统、8个具身候选做统一实证，定位现有系统在状态一致性与动作响应上的真实短板。
与已有工作不同的是，本文的独特切入在于把评测对象从『生成质量』转向『交互下的可靠性』：不再问这段视频好不好看，而是问相机移动、动作执行、场景重访、规则修改之后，这个世界是否仍然成立。实现上有三个区别于前人的设计：一是同一套W1–W6分类学横跨视频、空间、具身三种模型形态，允许共享用例池但按赛道用不同指标操作化，使三个社区的结论首次可在同一语言下比较；二是W4可编程世界的反事实配对设计——从同一初始帧出发生成两个仅差一个编辑条件（动作条件或物理规则）的rollout，用两分支的差异量化模型对干预的真实响应；三是明确要求『规则编辑必须统治后续演化』，以编辑后的规则而非原始动力学作为后续行为的评判参照（如改成低重力后，后续运动应遵循新规则），从而把一次性的视觉变化与持久的世界状态改变区分开。
核心方法
直觉上，一个有用的世界模型必须满足：相机移动时几何一致、被交互时物理合理、长时程rollout与重访时状态持久、被干预时按因果传播改动。技术路线上，论文先把这种可靠性形式化为W1–W6六级能力，再按世界模型的三种基本功能拆成三条评测轨道：视频轨道检验输入之外的观测是否时空一致（每个用例为首帧图像+场景与主体文字描述+时间索引控制序列，共1,138例）；空间轨道检验导出的显式场景（高斯或网格）是否支持有效物理操作（300个场景，用预定义相机轨迹渲染360度视图，并对导出几何做导航与放置仿真）；具身轨道检验自我视角下机器人、场景、被操作物体如何随动作演化，形式化为 $Y_{1:T}=\mathcal{G}_\theta(I_0, p)$，即由自我中心参考帧 $I_0$ 与完整动作提示 $p$ 生成视频 $Y_{1:T}$。每条赛道都配一套自动指标，外加HappyWorld-Arena的人类Elo作为总体偏好参照。
核心创新是『共享能力分类学+行为正确性度量』的组合。与已有工作相比，本质区别有三点。第一，W1–W6不是又一份视频指标清单，而是把『世界可靠』形式化为递进的能力层级（感知→交互→持久→可编程→可扩展→统一），三条赛道共享同一坐标轴，让视频生成、3D重建、具身控制三个社区第一次用同一种语言说话。第二，自动指标全部围绕行为而非外观设计：用DA3重投影测几何一致性、RAFT光流测动态、Gemini清单测因果链、用共享初始帧的匹配对测条件响应（如改变重力、摩擦、材质后，两分支的动力学是否存在可观测差异）。第三，评价原则直接写进指标定义：W4的因果评估以编辑后的规则为参照，要求干预成为『世界动力学的持久部分』而非瞬时视觉变化——这是对『编辑成功不等于编辑正确』这一盲区的针对性修正。
方法步骤详情
流程分三步。第一步，结构化用例构造：视频轨道每个case含首帧图像、场景与主体描述、时间索引控制序列（W1无动作输入；W2/W3只给方向与时间区间而非目标位置，因为同一控制在不同模型产生的位移量不同；W4追加自然语言干预；W5/W6可对多个主体分别下发控制），按能力矩阵标注W等级、应用域、视点与图像来源，再经人工审查图文一致、控制可行、评估目标可观察，淘汰歧义用例；最终1,138例，W1–W5分别为218/294/342/180/104，74个细粒度facet归入五大能力维度。空间轨道从视频轨道筛选并补采任务专用标注：424个用于轨道评估的目标物体、72个带支撑面的场景、30对编辑指令（18物体级+12全局级）、34个可扩展场景，并剔除含人物或肢体的首帧。具身轨道254个用例：W2共62个5秒单步原子动作，W3共100个12秒多步序列，W4共92组共享初始帧的配对（40组动作条件对+52组物理规则对）；rollout统一为24FPS（W2/W4为120帧、W3为288帧），按4FPS采样出20/48帧参与打分。第二步，指标计算：视频轨道14项指标分四维（感知VQ/HPS/IS/Dyn/IF，一致性BC/GC/TC/SC/SuC，因果PC/CC/IP，交互TA/AE/IV/SF）；空间轨道按W1–W5分组（外观质量与覆盖率、可导航比与放置率、TAPIP3D轨迹F1等物体级一致性、编辑成功率与背景保持、扩展面积/交界/新旧区域保持）；具身轨道17项指标按感知20%、一致性20%、因果30%、可控性30%加权，不适用指标剔除而非记零。第三步，Arena盲测A/B投票产出各赛道Elo。
技术新颖性
与最相关的基准逐一对比可见其新颖性：VBench 2.0只评视频内在忠实度；WorldScore用固定相机轨迹评世界生成，不涉及真实交互与编辑；WorldMark、iWorld-Bench、WBench聚焦交互与记忆但限于视频形态；MBench、WorldRoamBench、PlayWorld深入持久性但仍是单一形态；Eval3D、SceneEval限资产与场景层；具身侧评测要么只给视频外观分、要么需要模拟器与机器人本体。本文的新颖之处在于：(1)首次以同一能力层级横跨三种模型形态，且『共享case、不同度量』机制让同一输入池按赛道复用并保持可比性；(2)W4匹配对反事实评测把『条件是否真的约束了动力学』变成可量化指标（如具身侧CBF按配对组打分、视频侧IV/SF联合评估干预执行与保持）；(3)把『编辑统治后续演化』写成评估原则而非隐含假设；(4)Arena Elo（具身赛道62,592次盲投票）与自动指标互相校验——两者排序大体一致但保留局部差异，恰好互补。
实验结果
视频轨道（14个交互模型，W1另加5个视频生成基线）：HappyOyster以Arena Elo 1263居首，Genie 3为1206；但分层看排名洗牌——Genie 3的W1最高（82.8，HappyOyster 82.4），HappyOyster拿下W2（78.0，第二名JoyAI-Echo仅74.5）与W3（76.8，Genie 3为75.0）第一；W4仅两家参评（HappyOyster 66.7、LingBot-World-v2 59.3）；Open-Oasis全面垫底（Elo仅324）。指标层面暴露『好看不等于一致』：DreamX-World动态度99.63但状态一致性仅46.26；进入W3后多数模型状态一致性SC跌至20–55区间；W4上连HappyOyster的内容因果CC也只有23.51、状态保真SF 38.61，说明干预能执行却难以持久地正确统治后续演化。空间轨道（9个系统）：能力调整后Marble Elo最高1308，GPT-6-Astra 1252、HYWorld-2.0 1230；但GPT-6-Astra虽W1一般却领跑W3–W5。W2物理可用性是重灾区：放置成功率全场最高仅70.14%（HYWorld-2.0），且导航与支撑不可兼得（WorldGen可导航比68.83接近最高但放置率只有51.39）；FlashWorld与Lyra系列W2得分仅0–1.36，暴露可渲染但几何不可用的断崖。W4编辑：HYWorld-2.0成功率最高73.33%但其全局编辑分仅25.04，GPT-6-Astra以背景RGB保持100.00、深度一致99.57拿下联合编辑分第一（物体编辑分66.55），证明编辑成功与编辑正确是两回事。W5扩展：GPT-6-Astra面积比2.45×、路径保持83.20全面领先，而Matrix-3D面积分虽高于HYWorld-2.0与Marble，新区域质量却只有22.78、旧区域保持22.57，扩得多不等于扩得好。具身轨道（8个视频模型，62,592次盲投票）：MiniMax-H3包揽Elo 1060与W2/W3/W4三冠（93.60/91.42/88.62）；Sora 2垫底（Elo 872，三层60.91/65.35/64.12）；Cosmos 3感知一致性顶级（如W2场景保真98.19、几何一致78.27为全场最高之一）但因果顺序TCO在W2/W3/W4仅45.16/56.67/45.11。三个层级各自呈现清晰的失败模式：W2是动作-接触-效果-终态链断裂（接触从未建立、交互指错对象、场景与视角无因改变）；W3是顺序-传递-累积链断裂（初始状态未建立、中间状态未传递、终态未达成）；W4是条件-动力学-对比链断裂（物理规则编辑几乎无响应——改材质/重力/摩擦后两分支动力学不可区分；动作编辑只部分响应——规定的推被执行成抓着拖）。跨轨道的一致结论是：感知质量已不是瓶颈，状态持久性与条件响应才是。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频世界模型总体人类偏好 | Arena Elo | HappyOyster 1263 | Genie 3 1206（第二名） | +57 Elo |
| 视频W1感知世界 | 层级总分 | Genie 3 82.8 | HappyOyster 82.4（次名） | +0.4 |
| 视频W2交互世界 | 层级总分 | HappyOyster 78.0 | JoyAI-Echo 74.5（次名） | +3.5 |
| 视频W3持久世界 | 层级总分 | HappyOyster 76.8 | Genie 3 75.0（次名） | +1.8 |
| 视频W4可编程世界 | 层级总分 | HappyOyster 66.7 | LingBot-World-v2 59.3（唯一对手） | +7.4 |
| 空间世界模型总体人类偏好 | 能力调整Arena Elo | Marble 1308 | GPT-6-Astra 1252（第二名） | +56 Elo |
| 空间W2物理支撑 | 放置成功率 | HYWorld-2.0 70.14% | HYWorld-1.0 66.90%（次名） | +3.24个百分点；FlashWorld/Lyra系列为0% |
| 空间W4受控编辑 | 编辑成功率 | HYWorld-2.0 73.33% | Marble/WorldGen 56.67% | +16.66个百分点，但其全局编辑分仅25.04 |
| 空间W5空间扩展 | 扩展面积比 | GPT-6-Astra 2.45× | HYWorld-2.0 1.07× | 约2.3倍的增长幅度 |
| 具身世界模型总体 | Arena ELO（62,592次盲投票） | MiniMax-H3 1060 | Sora 2 872（末位） | +188 Elo |
| 具身W2/W3/W4能力总分 | 四维加权总分（20/20/30/30） | MiniMax-H3 93.60 / 91.42 / 88.62 | Sora 2 60.91 / 65.35 / 64.12 | 各层级高出约27–32分 |
局限与改进
作者明确承认的局限：W5、W6目前只是框架级定义，实际覆盖很薄——视频W5仅104例、空间W5仅34个静态扩展场景、具身轨道完全未操作化W5；空间轨道只评静态场景且剔除含人物或肢体的首帧（因为尚无方法能实现时空世界建模，这本身是权宜之计）；视频W4只有支持干预设定的HappyOyster与LingBot-World-v2两家参评，排名缺乏竞争性；W2与W3使用不同case池，两层分数差不能解读为纯时长效应。我自己的观察还有四点：其一，因果与状态类指标（PC/CC/IV/SF及具身侧PP/TCO/CTV等）高度依赖VLM裁判（Gemini、Qwen3-VL），论文未报告裁判与人类判断的一致性校准或方差，若VLM本身物理理解有盲区，分数噪声会直接进入结论；其二，Arena只给模型级Elo，投票者构成、每对的投票量与置信区间未详述，57分或56分的Elo差距显著性不明；其三，具身轨道接口是『首帧+文本动作提示』的开环生成，无法测闭环重规划、纠错与部分可观测探索，而这些恰是真实机器人世界模型的关键用途；其四，自动指标之间归一化方式各异（F1族只保留precision/recall之一等），跨指标横向比较需要谨慎。
独立分析的弱点
独立分析可指出五个弱点。第一，VLM裁判偏差是系统性风险：论文最核心的因果、编辑、状态指标全部由Gemini/Qwen3-VL断言产出，而VLM对物理的理解本身有盲区（例如难以判断摩擦或材料刚度的细微变化），分数可能系统性高估或低估——改进方向是抽样人工标注做裁判校准、多裁判集成、报告每项指标的裁判间一致性。第二，W4配对设计对『完全不响应』敏感，但对『部分响应』的量化较粗：视频W4只有两个模型参评，且SF普遍偏低（38.61与28.58），却未给出干预类型×失败模式的分布统计——改进方向是引入列联分析定位哪类规则最容易被忽略。第三，三赛道各自采样，跨形态结论不可比：同一个世界在视频、3DGS、具身rollout三种表示下没有成对评测，无法回答『哪种表示更可靠』——改进方向是构造跨赛道同源case做对照。第四，具身动作词表是20种操作技能的自然语言描述，缺乏力/力矩级的连续控制精度，对真机迁移的预测效度未知——改进方向是增加离散机器人动作接口并在真机上验证评测分数与策略收益的相关性。第五，长时程上限偏短：视频最长60秒、具身W3仅12秒，分钟级持久性（Lyra 2.0等模型宣称的卖点）无法在基准内检验——改进方向是分层拉长rollout并测量重访次数与遗忘曲线。
未来方向
作者在框架层面留下的方向非常明确：W5可扩展世界要求生成可被多个具身或虚拟智能体共享的无界状态，支持部分可观测下的通信、同步、协作与冲突处理，目前只有57个视频用例和34个静态空间扩展触及皮毛，未来需要真正的多智能体闭环环境；W6统一世界模型要求把生成、仿真、持久状态、交互与规划整合进一个能跨环境、任务、模态与本体泛化的系统，这是整个层级的终点。具身接口被刻意设计为可向离散机器人动作扩展，下一步应接入真实动作空间并在真机上验证。基于本文成果还可以延伸四个方向：把自动指标改造为可用的奖励信号，用于世界模型的强化学习训练；把空间轨道扩展到动态4D场景（作者因现有方法皆不能而被迫只评静态，这正是机会所在）；研究跨表示一致性——同一场景分别以视频、3DGS、具身rollout三种形式生成并互检状态与几何；以及建立评测分数到下游任务收益的预测效度研究，检验这类基准对规划与控制的真实价值，让『评测好』最终等于『用得好』。
复现评估
复现基础较好：1,692个用例（1,138条视频prompt、300个空间场景、254个具身用例）均为结构化格式（首帧图+描述+时间索引控制序列/任务专用标注），附录B给出了空间轨道全部指标的计算公式、采样流程、归一化约定与有效性规则，评测平台公开在 skyeval.com/sla/arena/happyworld。自动指标依赖的工具链大多开源或可API获取：MUSIQ、HPSv3、RAFT、DA3、SAM2.1、SAM3、DINOv2、CLIP、LPIPS、TAPIP3D、Q-Align、TOPIQ，外加Gemini与Qwen3-VL的API。主要门槛有三：一是被测模型多为闭源旗舰（Genie 3、Marble、GPT-6-Astra、Sora 2等），第三方只能评测自己可访问的模型，难以复现完整的31系统对比；二是生成成本，60秒rollout与最高8MP首帧的视频生成本身就是可观的推理开销；三是Arena需要持续的人类A/B投票（仅具身赛道就用了62,592票），完整复现需要众包预算。总体评估：复现自动指标部分为中等难度（有数据与公式），复现Arena部分为高难度（需人力），属于『评测即服务』型工作。
论文图表
