WorldOlympiad：你的世界模型能通过三项全能赛吗？ WorldOlympiad: Can Your World Model Survive a Triathlon?
首个统一评估视频世界模型物理、几何、交互能力的综合基准测试
前置知识
视频世界模型
视频世界模型是指能够根据历史观测和控制信号预测未来视觉状态的模型，它可以被视为模拟物理世界动态的数字化表示。这类模型通过学习视频数据中的时空模式，理解物体运动、物理规律、场景变化等规律，并在此基础上生成符合真实世界动态的新视频内容。它不同于传统的视频生成模型，后者主要关注视觉质量和短期连贯性，而世界模型更强调对物理规律、几何结构和交互行为的长期一致性建模。
这是论文的核心研究对象，理解其定义和能力边界对于把握论文贡献和实验设计至关重要。
Block Diffusion（块扩散）
块扩散是一种用于长视频生成的范式，它在每个块内执行迭代扩散去噪，并通过跨块 KV 缓存来基于先前生成的内容进行条件化。这种方法将扩散模型的高质量并行生成与自回归条件化的序列一致性相结合，在保持块内去噪质量的同时支持可扩展的时间扩展。块扩散克服了传统扩散模型只能生成短时长视频（通常为5-10秒）的限制，为构建视频世界模型提供了技术基础。
论文中的许多被评估模型都采用了块扩散技术，理解这一技术有助于理解当前长视频生成模型的工作原理和局限性。
Gaussian Splatting（高斯泼溅）
高斯泼溅是一种3D场景表示和渲染技术，它将场景表示为一系列3D高斯椭球体，每个高斯都有位置、旋转、缩放、透明度和颜色等属性。通过将这些3D高斯投影到2D图像平面上进行alpha混合，可以高效地渲染出高质量的图像。在几何评估中，论文使用高斯泼溅从生成的视频中重建3D场景，然后通过渲染重建的场景和元视图来评估几何一致性。这种方法可以揭示原始视图中看起来合理但在3D空间中存在结构性问题的视频内容。
这是论文几何评估流程的核心技术组件，理解它有助于理解论文如何评估生成视频的3D一致性。
KV Caching（键值缓存）
KV缓存是一种优化Transformer模型推理的技术，它将注意力机制中的键和值矩阵缓存起来，避免在生成序列时重复计算。在视频生成中，KV缓存可以用于跨时间步的长程依赖建模，使模型能够记住早期生成的视觉内容，并在生成后续帧时保持一致性。例如，LongLive模型引入KV缓存来实现长范围一致生成，这对于保持长视频中的对象状态、场景布局等具有重要意义。
论文讨论了内存和长程建模的两种主要方法之一，理解KV缓存有助于理解不同模型在长期一致性方面的技术差异。
交互式生成
交互式生成是指用户可以通过控制信号或文本提示来影响视频生成过程的模式。在视频世界模型的上下文中，交互式生成通常涉及分块生成：每个新的视频块都基于先前生成的视觉上下文和新的控制或动作描述进行生成。这种生成方式模拟了真实应用场景，如游戏中的玩家操作、机器人的动作执行等，要求模型既要满足局部指令，又要保持长范围的连续性。
这是论文交互评估的基础概念，也是视频世界模型在实际应用中的关键能力要求。
研究动机
现有的视频生成基准测试主要关注视觉质量、语义对齐或短期时间连贯性，这些评估方法无法全面回答一个核心问题：生成的视频是否遵循物理规则、保持连贯的3D结构、并支持长时程的可控交互？例如，VBench和VBench-2.0主要测量感知质量或文本-视频对齐，即使VBench++扩展到长视频生成，仍然主要关注视觉外观和时间平滑度。此外，现有的世界模型专用基准通常只关注单一下游领域，如游戏或机器人技术，使得难以在游戏、机器人和一般真实世界场景之间进行统一比较。这些限制意味着我们仍然无法确定现有的视频世界模型是否能够在多个领域、长时程和交互设置中可靠地模拟世界动态。
本文的目标是本文的目标是创建一个统一的基准测试，用于评估视频世界模型在游戏、机器人和真实世界场景中的多维度能力。具体而言，WorldOlympiad旨在构建一个包含1000个高质量长视频的数据集，涵盖交互控制、具身操作、开放领域运动和相机动态等多样化的下游需求。基于这个基准，论文设计了三个互补的评估维度：物理真实性（评估生成视频是否遵循可解释的力学、热力学和材料属性规则）、几何一致性（评估生成视频的3D结构和跨视图连贯性）和交互保真度（评估分块生成是否遵循复杂动作提示并保持平滑过渡）。
与已有工作不同的是，本文的独特切入角度是首次在单一评估框架中统一覆盖游戏、机器人和一般场景生成三大下游应用领域，同时联合评估感知质量和功能世界建模能力。与现有基准相比，WorldOlympiad不仅包含更多样化的任务场景（见表1对比），还专门设计了针对物理规律遵守、3D几何一致性和长时程交互的评估指标。这种设计使得WorldOlympiad能够揭示现有模型在通用视频质量评估中无法暴露的失败模式，为开发更可靠的视频世界模型提供诊断证据。
核心方法
WorldOlympiad方法整体上由三个核心模块组成：数据收集与标注、多维度评估指标设计、以及自动化评估流水线。在数据收集方面，论文从机器人、游戏和真实世界三个来源构建了1000个高质量长视频数据集，并通过三阶段分块-标注-精炼管道为每个视频块生成详细的时间描述和动作标签。在评估指标方面，论文设计了三个互补的评估轨道：物理轨道使用对象分割和MLLM-as-judge方法评估力学、热力学和材料属性的规则遵守情况；几何轨道使用高斯泼溅重建和轨迹对齐评估3D结构一致性；交互轨道在分块生成设置下评估局部指令遵循、过渡平滑性和全视频流畅性。最后，所有评估通过自动化流水线执行，生成可解释的诊断分数。
WorldOlympiad的核心创新点在于首次提出了针对视频世界模型的三项全能评估框架，将世界模型能力分解为物理真实性、几何一致性和交互保真度三个互补维度，并在统一的基准下跨游戏、机器人和真实世界场景进行系统评估。与现有基准相比，WorldOlympiad的关键区别在于：不仅是评估视觉质量，而是评估生成视频是否表现得像可靠的世界模拟；使用规则基础的物理判断（涵盖14个具体物理规则）而非通用质量指标；在分块交互生成设置下评估长时程一致性，模拟实际应用场景；统一的评估框架使得可以跨不同领域的世界模型进行公平比较。这种设计使得WorldOlympiad能够揭示现有模型在物理推理、3D一致性和长时程交互方面的系统性差距。
方法步骤详情
WorldOlympiad的完整评估流程包含以下步骤：数据收集阶段首先从三个来源获取视频：机器人视频来自RoboCOIN（400个），游戏视频来自GameGen-X（400个），真实世界视频来自LVD-2M（200个）。然后通过三阶段管道处理每个视频：阶段I-分块使用Gemini-3-Pro-Preview识别主要连续执行区间并将视频分割为最多6个连续块；阶段II-标注为每个视频块生成两个字段：动作字段（将相机运动映射到WASD风格控制）和描述字段（描述场景、可见实体、事件、交互和结果）；阶段III-精炼使用完整视频作为上下文来精炼分块描述，纠正幻觉细节、标准化术语、改进叙事连续性并验证相机运动动作标签。评估阶段针对三个轨道执行：物理轨道首先使用MLLM识别与物理推理最相关的移动或变形实体，然后应用SAM3生成以对象为中心的可视化，接着对每个相关指标使用合规性判断器比较生成视频与真实视频是否遵循相应的物理规则；几何轨道使用Depth Anything 3从采样帧估计高斯场景和相机参数，使用高斯泼溅渲染器生成重建视频和元视图，然后使用校准的MLLM判断器评估重建质量和元视图质量，同时通过比较预测和参考相机轨迹计算轨迹一致性分数；交互轨道首先对每个分块计算CLIP基础的语义对齐分数，然后使用MLLM在三个互补级别进行评估：分块级别（评估视觉质量、文本对齐和整体分块分数）、过渡级别（评估相邻分块的过渡平滑性）和全局级别（评估长范围一致性、全局文本对齐和整体全局分数）。最终，总体分数通过平均物理、3D和交互分数计算：$S_{all} = \frac{1}{3}(S_{phys} + S_{3D} + S_{interact})$。
技术新颖性
WorldOlympiad的技术新颖性体现在多个方面。在数据构建方面，论文设计的三阶段分块-标注-精炼管道确保了时间描述的准确性和全面性，特别是使用完整视频上下文进行精炼的步骤对于长视频评估至关重要，因为它可以标准化相邻分块之间的术语并改进叙事连续性。在评估指标方面，物理轨道引入了规则基础的评估框架，涵盖14个具体物理规则（力学4个、热力学6个、材料4个），这种细粒度的物理评估在视频世界模型基准中是首创的。几何轨道通过结合高斯泼溅重建、元视图渲染和相机轨迹对齐，提供了一种比纯2D质量指标更全面的3D一致性评估方法。交互轨道在分块生成设置下同时评估局部指令遵循、过渡平滑性和全视频流畅性，这种设计更接近实际应用场景。此外，论文还进行了人类偏好对齐研究，结果显示自动评估器与人类评估的一致性高达Spearman相关系数$\rho = 0.95$，证明了WorldOlympiad自动评估协议的有效性。
实验结果
实验结果揭示了关于视频世界模型现状的几个关键发现。首先，最佳模型不再仅通过视觉合理性来区分，而是通过它们在扩展rollout中保持物理状态和交互语义的能力。LingBot-World（14B激活参数）实现了最高的总体分数0.683，在物理真实性（0.942）和交互保真度（0.734）方面表现特别强。然而，模型规模不是决定世界模型质量的唯一因素：Cosmos-Predict-2.5（仅2B参数）达到了相当的总体分数0.671，这表明针对性的物理世界训练和rollout设计可以部分补偿较小的激活模型规模。其次，物理规律遵守正成为共享能力：LingBot-World（0.942）、Cosmos-Predict-2.5（0.906）、Rolling Forcing（0.873）、LongLive（0.863）和Yume-1.5（0.863）都达到了高物理分数，这表明当前视频世界模型已经开始内化运动、接触、支持和材料行为的频繁模式。然而，这种能力仍然不均匀：细粒度结果显示热力学和材料级别的问题比许多力学问题更脆弱。第三，几何-模拟差距仍然未解决：几何一致性仍然是当前视频世界模型最重要的未解决弱点之一。即使在这一维度上最强的管线Hunyuan-WorldPlay也只达到0.424，而大多数模型保持在0.25-0.40范围内。值得注意的是，依靠相机或视点控制作为主要交互形式的模型在3D一致性方面表现更好，但这种设计也更加受限，因为它不一定会对复杂对象操作、代理行为或多步骤状态转换进行推理。这突出了当前世界模型的一个关键权衡：视点控制管线可能更好地保持跨视图结构，但强大的世界模拟需要稳定的3D几何和灵活的交互动态。最后，专业化-泛化权衡分析显示，LingBot-World和Cosmos-Predict-2.5都经历了特定领域（如游戏或机器人技术）的持续训练，它们在基准中的强劲表现表明持续的专业化训练可以有效泛化到更广泛的评估设置。然而，并非所有专业化模型都表现出相同的泛化能力：WoW在具身场景中表现更好，但在游戏和一般真实世界视频上分数下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 世界模型综合评估 | 总体分数 | LingBot-World: 0.683 | Matrix-Game 2.0: 0.231 | 195.7%提升 |
| 物理真实性评估 | 物理分数 | LingBot-World: 0.942 | Matrix-Game 2.0: 0.325 | 189.8%提升 |
| 几何一致性评估 | 3D分数 | Hunyuan-WorldPlay: 0.424 | WoW: 0.250 | 69.6%提升 |
| 交互保真度评估 | 交互分数 | LingBot-World: 0.734 | Matrix-Game 2.0: 0.113 | 549.6%提升 |
局限与改进
论文承认了几个局限性。首先，物理评估依赖于MLLM-as-judge方法，这种方法虽然可扩展，但可能存在判断偏见或幻觉问题，尽管人类对齐研究显示与人类评估有高度相关性（Spearman相关系数为0.95）。其次，几何评估中的高斯泼溅重建可能对动态场景失效，论文通过在可用时移除前景高斯来缓解这个问题，但这可能丢失重要的动态几何信息。第三，交互评估中的CLIP语义对齐分数使用固定阈值（最小值为0.20，最大值为0.40），这些阈值可能在不同的模型分布上不是最优的。第四，基准虽然覆盖了三个主要下游场景，但仍然可能无法完全代表所有可能的世界模型应用场景。最后，论文评估了8个代表性管线，但可能还有其他重要的模型没有被包括在内。我自己的观察是，基准主要关注视频生成质量，而没有评估生成速度或计算效率，这对于实际应用也很重要。此外，基准没有明确评估世界模型在极端或罕见情况下的鲁棒性，比如物理规律被故意违反的科幻场景或非标准材质行为。
独立分析的弱点
独立分析的弱点主要包括以下几个方面。首先，物理评估的规则基础方法虽然覆盖了14个具体规则，但这些规则是预先定义的，可能无法捕获所有相关的物理现象。例如，论文没有评估电磁现象、流体动力学复杂行为或量子效应等更复杂的物理规律。改进方向可以是扩展物理规则集合，或者引入学习基础的物理评估器，能够自动发现和评估未预见的物理违规行为。其次，几何评估目前主要关注静态场景的3D一致性，通过移除前景高斯来实现，但这忽略了动态几何的评估。改进方向可以是开发专门针对动态对象3D一致性的评估方法，比如跟踪动态对象在不同帧中的3D位置和形状变化。第三，交互评估中的分块生成设置虽然模拟了实际应用场景，但分块大小和数量是固定的（最多6个块），这可能无法完全匹配不同模型的实际使用模式。改进方向可以是自适应分块策略，根据视频内容和模型特性动态调整分块大小。第四，基准数据集虽然包含1000个视频，但对于某些特定子场景（如特定的机器人操作类型或游戏类型）的覆盖可能仍然不够充分。改进方向可以是扩展数据集规模，特别是增加稀有但重要的场景样本。最后，评估流水线虽然自动化，但仍然需要多个外部组件（如SAM3、Depth Anything 3、Gemini-3-Pro-Preview），这增加了评估的复杂性和成本。改进方向可以开发更集成的评估工具，减少对外部依赖的依赖。
未来方向
作者提出的未来工作方向是扩展WorldOlympiad以研究不同的内存机制如何影响长时程一致性和交互可控性。虽然许多最近的管线引入了内存模块来改善长视频生成，但它们不同的模型规模、训练数据和架构设计使得难以分离性能增益是来自内存机制本身还是来自混淆因素。作者因此旨在构建一个受控的评估环境，将内存设计与其他变量解耦。相关设计包括KV缓存重用、显式3D场景内存、线性注意力和混合时空机制。通过在共享数据、可比模型容量和统一协议下比较这些机制，未来的分析可以更清晰地揭示哪些内存形式最好地支持物理一致性、几何稳定性和可靠的长时程交互。基于论文成果，可以延伸的另一个方向是将WorldOlympiad扩展到更多模态，比如音频世界模型或跨模态世界模型，评估它们是否能够保持跨模态的物理和几何一致性。此外，还可以研究如何将WorldOlympiad的评估框架用于训练，比如设计基于物理规则遵守、几何一致性或交互保真度的损失函数，以鼓励模型在这些维度上改进。另一个有趣的方向是研究人类世界模型与机器世界模型的差异，通过比较人类和模型在相同任务上的表现，可以更好地理解人类世界建模的独特优势，从而指导模型的改进。最后，可以探索WorldOlympiad在教育领域的应用，比如用于评估和训练学生理解物理规律和空间关系的能力。
复现评估
WorldOlympiad的开源情况良好：项目网站（https://alibaba-damo-academy.github.io/WorldOlympiad）和代码库（https://github.com/alibaba-damo-academy/WorldOlympiad）都已公开，这为研究社区提供了完整的数据集、评估工具和实验重现脚本。论文详细描述了数据收集、标注处理和评估流程的每个步骤，包括使用的具体模型（如Gemini-3-Pro-Preview用于标注、SAM3用于对象分割、Depth Anything 3用于深度估计）和评估指标的计算公式。在算力需求方面，评估8个代表性管线需要 substantial 计算资源，因为每个模型都需要在1000个测试视频上生成完整视频，然后通过三个评估轨道进行评估。论文没有明确报告具体的计算时间或硬件要求，但从评估的复杂性（包括3D重建、MLLM判断等）可以推断需要相当多的GPU资源。复现难度中等：虽然代码和数据集都是开源的，但设置完整的评估环境需要安装多个依赖项（包括各种MLLM、视觉模型和评估工具），并且可能需要调整配置以匹配论文中使用的特定模型版本和超参数。此外，论文中提到的OpenWorldLib提供了统一的接口来评估不同的视频生成管线，这有助于简化复现过程。总体而言，WorldOlympiad的复现性是良好的，研究者可以使用提供的资源来验证结果或将新模型添加到基准中进行比较。
论文图表
