WorldCast：面向世界状态预测的智能视觉生成探索 WorldCast: Exploring Intelligent Visual Generation in World State Prediction
构建WorldCast基准，用320个案例评测多模态生成模型的多步世界状态预测能力
前置知识
统一多模态模型（Unified Multimodal Model, UMM）
指在同一个模型或系统内同时具备图像/视频理解与视觉生成能力的模型，如 Chameleon、Show-o、Janus、BAGEL、Emu3.5、SenseNova-U1。它们通常用统一的 token 序列表示文本与图像，通过自回归或扩散方式完成理解与生成。论文还把「语言模型增强器 + 图像/视频生成器」这类组合系统也广义地视为统一系统，只看最终视觉输出。
WorldCast 评测的正是这类模型「边理解边生成」的能力：模型必须读懂参考图中的目标、规则与物理属性，再生成连续的世界状态序列，理解或生成任何一端掉链子都无法得分。
交错生成（Interleaved Generation）
指模型交替输出「文本描述 + 图像」的序列，而不是把所有步骤拼在一张网格图或压成一段视频。语言模型可以逐步引导每一步渲染，每生成一步都携带此前全部上下文继续推理，而非一次性画出所有步骤。不支持交错的模型则输出 $1\times2$、$2\times2$ 等网格拼图。
论文发现交错生成是关键性能变量：GPT-Image-2.5 从交错切换到网格输出，总分从 72.8 跌到 50.1。不理解这个机制就读不懂 Table 2 和逐步准确率分析。
LMM-as-a-Judge（大模型当裁判）
用大型多模态模型（本文用 GPT-5.5，medium reasoning）代替人类标注员对生成结果打分。裁判接收任务指令、参考图、人工编写的提示（hints）和完整输出序列，按离散等级评 PA/OC/CP/VC 四个分项。论文用 6 名专家的盲测成对比较验证了它与人类偏好的 Pearson 相关 $r \geq 0.97$。
WorldCast 的所有分数都由该协议产出，理解它的评分维度、hints 设计与人机一致性验证，是读懂实验结果和局限性的前提。
世界模型与世界状态预测
世界模型指能预测环境在动作或事件驱动下如何演化的生成模型，如 Genie 学习动作可控的视频动态、GameNGen 实时模拟游戏。本文的「世界状态预测」更进一步：给定文本指令与异构参考（目标图、规则、物理属性、操作示范），输出因果连贯的多个未来视觉状态，参考可在不同时间步介入，而非只提供起点外观。
这是论文定义并首次形式化的核心任务，WorldCast 的 8 个类别、L3/L4 分层与三个评分维度全部围绕「预测世界如何一步步演化」设计。
智能体式生成（Agentic Visual Generation）
把视觉生成器接入具备规划、检查与工具调用能力的语言智能体（本文基于 Codex + GPT-6 Astra）：一是检查-修改回路，生成后检查是否违反任务约束并重试；二是编码优先回路，先用代码/SVG/Three.js 等构建中间可视化产物，模拟几何、状态推进或物理过程，再据此指导生成。每案例共享 $2K$ 次图像调用与 150 分钟预算。
论文用这两种 harness 把 GPT-Image-2.5 从 72.8 提升到 82.4，是理解「未来生成系统该长什么样」这一讨论的核心实验。
研究动机
现有评测体系集中在能力树的低层。L1 的 GenEval、DPG-Bench 只考察静态文生图的对齐与质量；L2 的 RISE、ImgEditBench、VBench、WorldModelBench 覆盖编辑、可控生成与视频；L3 的 WISE、GENIUS、ROVER 涉及世界知识与模式归纳，但主要评估静态视觉结果。世界模型方向虽有 Genie、GameNGen 等工作，但它们从静态外观锚点出发模拟，支持交互式 rollout，却不支持本文所需的基于推理的状态转换与异构参考。真实世界事件大多是动态的：预测其推进需要在不同时间步介入的参考——可能是目标、规则、物理属性或经验示范，而非起点外观信号。这要求模型把理解与生成深度耦合：既要读懂每个参考的含义，又要决定它在何时、以何种方式生效，并输出因果连贯的连续状态。目前没有基准系统性地考察这一高层能力，模型在该方向的真实水平是未知数。
本文的目标是论文的目标是把「世界状态预测」形式化为可评测任务，并构建 WorldCast 基准回答：多模态生成系统能否外化 L3-L4 级别的智能？具体包括三件事。其一，提出认知启发的四层能力树（L1 静态文生图、L2 编辑/可控/视频、L3 静态多步、L4 动态多步且能力高度纠缠），把评测聚焦在 L3（复杂动态转换与物理合理性，需隐式或显式规划）和 L4（整合编码目标、物理状态、经验与模式的异构参考）两个高层。其二，构建 320 个人工设计案例、覆盖 8 个类别、共 1,352 个请求视觉状态与 452 张输入图的评测集。其三，设计统一的「关键状态序列」评测协议使图像与视频模型可比，用 TC/CP/VC 三个维度量化 12 个代表性模型，并进一步诊断交错生成、语言增强器与 agentic 工具等因素的影响。
与已有工作不同的是，本文的独特切入有四点。第一，评测对象从「单张图好不好」转向「世界如何一步步演化」：参考图不再只是外观锚点，而是编码目标（Visual Goal Realization）、规则（Logic and Rules）、物理属性（Physical Properties）与操作经验（In-Context Procedural Learning）的语义载体，同一张图可同时指定视觉内容与程序/逻辑约束。第二，协议与输出格式解耦：无论网格、交错还是视频，统统折算成有序关键帧序列评估，首次让图像与视频模型在同一把尺子下比较。第三，为序列级评测引入人工标注的 judge-only hints——标注员找出任务关键物体、里程碑与不可忽略的确定性步骤，只给裁判看、不给生成模型看，显著降低开放式任务的评分歧义。第四，用 agentic 视频适配器把视频抽成关键帧（inclusion-first 原则），并做了人机相关性验证（Pearson 0.9546），这种严谨度在同类基准中少见。
核心方法
论文先建立直觉：人类智能是「多模态观察→调用相关线索→设想世界如何演化」的闭环，生成模型应能外化同样的能力。技术路线上，任务形式化为：给定文本指令 $p$ 与上下文图像 $X = (x^m)_{m=1}^M$，生成系统 $G$ 输出有序视觉状态序列 $\hat{Y} = G(p, X) = (\hat{y}_1, \ldots, \hat{y}_K)$。评测集按「信息编码在何处、需要什么推理」分为 8 类：L3 含观察条件转换（57 例）、物理模拟（61 例）、自适应任务完成（55 例）；L4 含视觉线索（28 例）、物理属性（28 例）、视觉目标实现（28 例）、逻辑与规则（35 例）、上下文程序学习（28 例）。评测时先按模型原生接口适配输出（网格/交错/视频），视频经 agentic adapter 抽帧，再由 GPT-5.5 依据人工 hints 从任务完成（TC）、因果合理性（CP）、视觉一致性（VC）三个维度评分，最后加权聚合成百分制总分。
核心创新是「关键状态序列」这一评测单元与三维评分体系。与已有工作的本质区别：(1) UEval、GIR-Bench 等虽涉及推理，但主要评静态结果；WorldCast 要求正确的终点不能弥补缺失的关键中间步——Progress Alignment（PA）在序列级评 0-2 分，Outcome Completion（OC）只评终点 0/1 分，按案例级权重 $TC = (1-w_o)\,PA + w_o\,OC$（$w_o \in [0, 0.5]$）合成，过程导向案例 $w_o=0$。(2) Causal Plausibility（CP）检查相邻因果与长程依赖（物体守恒、支持接触、拓扑、时间顺序），Visual Consistency（VC）检查身份、数量、几何、材质、相机的跨帧稳定并豁免任务要求的变化。(3) 三者按 $Final = \frac{100}{3}(\alpha_1 TC + \alpha_2 CP + \alpha_3 VC)$ 聚合，取 $\alpha_1=\alpha_2=0.4$、$\alpha_3=0.2$——过程与因果同等重要、一致性权重减半。这套设计把「会讲故事但画面不支持」的输出系统性压分：裁判只认可见证据，文字说明、箭头都不能替代。
方法步骤详情
流程分六步。(1) 数据构建：从第一视角数据集（EPIC-KITCHENS、DROID 等）、游戏画面、科学教育视频、说明书中收集；素材不足时用图像生成工具合成相似场景并保留预期的空间/物理/程序约束；Visual Cues 的多视角案例用 Claude Opus 操作 Blender 生成几何一致的源图，再用 Nano Banana Pro 增强真实感。(2) 案例编写：每例含指令、输入图与期望的 $K$ 个状态（多为 4-6 步）；标注员联合审阅后为裁判写 hints（关键物体的参考绑定、必需里程碑与时间顺序、必须始终成立的物理/逻辑约束），生成模型不可见。(3) 输出适配：支持交错的模型输出图文交替序列；Qwen-Image、Seedream 输出网格图再裁切单帧；BAGEL 采用 Plan & Iterate；视频模型生成完整视频。(4) 视频抽帧：GPT-6 Astra 经 Codex 作为 agentic video adapter，用 ffmpeg 反复采样，按「覆盖优先」原则选出覆盖最多关键状态的时间戳递增帧，缺失状态标记 achieved=false。(5) 评分：GPT-5.5 先通读全序列评估局部转换，再做全局检查解决跨帧依赖，输出 PA(0-2)/OC(0-1)/CP(0-3)/VC(0-3) 的 JSON 分数与视觉证据；TC 按 $w_o$ 合成后乘 3 归到 0-3 制，与 CP、VC 加权得百分制总分。(6) 验证：与 6 名专家盲评对比、三种裁判模型复评、3 轮重复生成测方差。
技术新颖性
技术新颖性体现在四个层面。任务层面：「world state prediction」作为任务是首次形式化，把 L3/L4 差异定义为「参考理解与转换生成的耦合深度」，并给出可操作的类别划分与公式化 $\hat{Y}=G(p,X)$。协议层面：格式无关的关键帧协议 + agentic 抽帧适配器，解决了图像/视频模型长期不可比的问题；judge-only hints 是对 LMM-as-a-Judge 的务实改进——只补充确定性判据而不替模型生成背书，且对同一案例所有模型使用同一组 hints 保证公平。分析层面：论文不止于排名，还系统拆解了语言增强器（Nano Banana Pro 配 GPT-6：42.8→61.2）、输出格式（交错 vs 网格：−22.7 分）、上下文累积退化（四步生成首末步准确率下降）与 agentic 工具（编码优先：+9.6 分）四个因素，其中「交错生成是否只是格式红利」的对照实验设计颇具启发性。验证层面：每个自动化环节（裁判、抽帧器、生成随机性、裁判间一致性）都有定量的人机/跨模型一致性数据支撑，这在评测论文中较为罕见。
实验结果
实验给出三层结论。第一，前沿模型已具备早期世界状态预测能力：GPT-Image-2.5 总分 72.8，五个 L4 类别全部超过 60（Physical Properties 73.6、Visual Cues 76.7、In-Context Procedural Learning 71.6、Logic and Rules 74.3、Visual Goal Realization 61.3），观察条件转换高达 85.6，且 L3→L4 仅降 2.2 分，说明复杂参考输入反而带来增益。第二，模型差距在高层次拉大：最佳开源 SenseNova-U1 总分仅 20.1，L3 24.4→L4 15.0（−9.4）；Emu3.5 12.3、BAGEL 6.8、纯生成式的 Qwen-Image 5.6 垫底；Nano Banana Pro 42.8，其 Visual Cues 33.7、Visual Goal Realization 28.5 远低于自家总分；视频模型在 L4 Logic and Rules 上集体崩溃（Seedance 2.0 17.7、Gemini Omni 16.2、Wan 3.0 17.2）。第三，能力与语言侧强相关且可被工程放大：交错→网格使 GPT-Image-2.5 掉 22.7 分（Logic and Rules 74.3→23.0），但 Nano Banana Pro 仅掉 2.2，说明格式红利依赖底层生成与推理能力；在 195 个四步案例上 SenseNova-U1 步准确率 42.6%→27.2%（−15.4）、Nano Banana Pro 67.7%→48.7%（−19.0），配 GPT-6 后 82.6%→76.4%（−6.2），上下文累积退化是统一系统的通病；agentic 检查-修改回路把 GPT-Image-2.5 提到 80.2，加编码工具再至 82.4（Visual Goal Realization +20.0、Physical Simulation 69.6→88.6），Nano Banana Pro+GPT-6 从 61.2 提到 72.5/72.9。评测可靠性方面：裁判与 6 名人类专家胜率相关 $r\geq0.97$、胜者一致率 86.1%–89.2%；抽帧与人选帧相关 0.9546；3 轮重复生成总体标准差 ≤0.53。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WorldCast 总分（8 类别加权聚合，12 模型） | Final（0-100） | GPT-Image-2.5：72.8 | 次优 GPT-Image-2 66.2；最佳视频 Seedance 2.0 47.2；最佳开源 SenseNova-U1 20.1 | 较次优 +6.6，较最佳开源 +52.7 |
| L4 整体（5 个高耦合类别） | Final（0-100） | GPT-Image-2.5：71.6 | Nano Banana Pro 39.5；开源最佳 SenseNova-U1 15.0 | 较开源最佳 +56.6；GPT-Image-2.5 相对自身 L3 仅降 2.2，SenseNova-U1 降 9.4 |
| Observation-Conditioned Transitions（L3） | Final（0-100） | GPT-Image-2.5：85.6 | Seedance 2.0 53.3；SenseNova-U1 24.1 | +32.3 vs 最佳非 GPT 模型 |
| Logic and Rules（L4 推理密集类） | Final（0-100） | GPT-Image-2.5：74.3 | 三个视频模型 16.2–17.7；Nano Banana Pro 41.4 | 视频模型与最强图像模型差距约 57 分 |
| Visual Goal Realization（全场最难类别之一） | Final（0-100） | GPT-Image-2.5：61.3（自身最低） | Nano Banana Pro 28.5；Seedream 5.0 Pro 29.1 | 最强模型也仅有 61.3，说明抽象视觉目标的规划-执行仍未攻克 |
| 交错生成 vs 网格生成 | Overall 变化 | GPT-Image-2.5 交错 72.8 → 网格 50.1 | Nano Banana Pro 交错 42.8 → 网格 40.6 | 格式切换损失 22.7 vs 2.2 分：交错是重要能力但红利依赖底层模型 |
| Agentic 检查-修改 + 编码工具 | Overall | GPT-Image-2.5 + Codex coding-first：82.4 | Responses API 直出 72.8 | +9.6（Visual Goal Realization +20.0、Physical Simulation +19.0） |
| 评测协议有效性 | Pearson r / 胜者一致率 | 四维度裁判-人类 $r \geq 0.97$；抽帧-人类选帧 $r=0.9546$ | 6 名专家盲评成对比较（VBench 式协议）、3 名标注员为 100 个视频选帧 | 胜者一致率 86.5%（Overall）/87.4%（TC）/89.2%（CP）/86.1%（VC） |
局限与改进
作者承认并验证过的局限：所有分数依赖 GPT-5.5 裁判，不同裁判存在系统性标定差（GLM-5.3-Flash 偏高、Gemini 3.1 Pro 更保守），尽管模型排序基本保持；部分任务部分开放式，只能靠人工 hints 约束歧义；视频抽帧是与人类选帧相关 0.9546 的近似；单个类别分数波动可达 2.7 分。我补充观察：(1) 规模偏小且类别不均衡（57 例 vs 28 例），跨类别比较需谨慎；(2) 聚合权重 $\alpha_1=\alpha_2=0.4$、$\alpha_3=0.2$ 是人为设定，论文未做权重敏感性分析；(3) 案例部分取材于公开游戏、说明书、教学视频（如七桥谜题、爆款玩法），前沿模型的训练语料很可能覆盖相似内容，存在污染风险；(4) 组合系统（增强器+生成器）被整体评分，无法精确归因语言模型、增强器与渲染器各自的贡献；(5) 关键帧协议刻意丢弃时间连续性信息，无法评估运动平滑度与过渡自然度，视频模型的天然优势被部分抹平；(6) agentic harness 单案例预算 150 分钟、编码方案单次可超 1 小时，结论的获取成本极高。
独立分析的弱点
独立分析几个弱点。其一，评分有效性天花板：CP/VC 采用 0-3 粗粒度等级，「物理合理性」的判断本身依赖裁判的世界知识，对反常识但正确的解法可能误杀，改进方向是引入逐案例的人类校准子集或裁判不确定性加权。其二，过程与结果的权重耦合：$w_o$ 上限 0.5 意味着即使最看重结果的案例，过程仍占一半权重，这对「允许跳步但结果正确」的任务可能过严，可按类别自适应设定。其三，交错生成结论的外推性受限：Table 2 只覆盖两个闭源模型，无法判断「交错红利」是架构通用规律还是特定产品的训练配方，应在开源 UMM 上重复该实验。其四，增强器分析混合了提示增强与格式重排两种效应，缺少干净消融。其五，编码工具实验中 agent 在多数案例选择不直接传递视觉产物（仅 Logic and Rules 22/35、Physical Simulation 24/61 直接使用），说明生成器消费异构参考的能力仍是瓶颈——论文指出了这一点，但未量化「指导未生效」的比率与原因。其六，基准正被头部模型快速逼近（OCT 已达 85.6），若不持续扩充更难的案例，区分度会迅速衰减。
未来方向
作者明确提出两个方向：一是把「代码模拟→视觉渲染」这一两段式过程在训练时蒸馏为统一模型的直接视觉生成能力，免去每案例超 1 小时的编码模拟推理；二是视觉生成器应学会接收并动态解释智能体产出的异构产物（状态轨迹、几何构造、物理草图），而非仅把它们当像素级锚点。基于论文成果还可延伸：(1) 用 WorldCast 的分数或裁判证据作为奖励信号做强化学习，专门对齐过程级因果合理性；(2) 把交错生成与视频架构结合，研究步间一致性的长程记忆机制，缓解 67.7%→48.7% 的累积退化；(3) 在开源 UMM 上复现增强器与编码 harness 实验，检验闭源结论的普适性；(4) 扩展到更长时程（>6 步）、真实机器人操作与「生成-执行-再观察」的交互闭环；(5) 与 Genie 类视频世界模型融合，让关键状态序列成为世界模型的中间表征；(6) 探索少依赖 LLM 裁判的客观指标，如基于关键点检测、物理引擎回放的自动校验，降低评测成本与标定偏差。
复现评估
复现难度中等偏上。有利条件：项目页（teal024.github.io/WorldCast）存在；附录 H 完整给出网格/交错/视频三种生成模板、agentic video adapter 的完整 prompt（含 ffmpeg 采样与 JSON 输出契约）、以及 PA/OC/CP/VC/逐步准确率全部裁判模板；超参数明确（GPT-5.5 medium reasoning、GPT-6 Astra medium reasoning、codex-cli 0.153.4、每案例 $2K$ 次图像调用与 150 分钟时限）；3 轮重复生成的均值±标准差（总体 ≤0.53）表明评测流水线本身稳定。不利条件：320 个案例与 hints 数据集是否完整开源，正文没有明确承诺（仅给出项目页）；评测链路依赖闭源商业 API（GPT-5.5/GPT-6 Astra 裁判，12 个被评模型多为闭源服务），API 成本不低；agentic 编码实验单次可超 1 小时，复现 Table 3 需要可观的时长与费用；被评模型版本迭代极快，具体分数的时效性有限。若只复现分析性结论（交错 vs 网格、步间退化、增强器效应），用一两个模型加数百美元 API 预算是可行的。
论文图表
左侧把智能视觉生成组织为四层能力树：L1 基础文生图（GenEval、DPG-Bench）；L2 编辑/可控生成/视频（RISE、ImgEditBench、VBench、WorldModelBench）；L3 静态多步（Nano Banana、WISE、GENIUS、ROVER 覆盖的范围）；L4 动态多步、能力高度纠缠。右侧说明 WorldCast 定位在 L3-L4：通过统一的多模态理解与生成，把真实世界上下文动态转换为连续的未来世界状态，并勾勒观察→规划/推理→动态引用→渲染→交付的链路。
这张图给出全文的组织框架与任务定位——只有理解 L1-L4 分层，才能明白为何 320 个案例被划入 L3/L4 两级，以及「世界状态预测」在整个能力版图中的位置。
上半部分在能力树上标出评测范围：L4 要求动态多步与高度纠缠的能力，对图像与视频生成器都具挑战。下半部分给出玩具组装示例：输入拆解零件图与说明书两张参考图，要求按说明书输出四步组装过程并保持工作台、零件外观与时间连续性；图中 GPT-Image-2.5 完成全部里程碑，而 Wan 3.0 无法确定正确顺序（手臂未安装、双臂不一致、缺顶部天线等错误）。
用一个具体例子说明任务形态（多图异构参考→多步输出）与评分直觉，也第一次直观展示最强模型与视频模型之间的能力差距。
用 GLM-5.3-Flash、GPT-5.5、Gemini 3.1 Pro 三个裁判对同一批模型输出重新打分：GLM-5.3-Flash 整体给分系统性偏高，Gemini 3.1 Pro 更保守，但模型排序在三个裁判之间基本保持一致。
直接回应「结论是否依赖特定裁判模型」的质疑：绝对分数不可跨裁判比较，但相对结论稳健。讨论评测局限性时必须引用这张图。