← 返回 2026-10-26

迈向统一视频世界模型：视频的阅读、书写、共享与交互综述 Reading, Writing, Sharing, and Interacting with the World through Video

Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang, Philip Torr, Hao Fei 📅 2026-10-22 👍 35 2026-11-09 18:30
世界模型 统一多模态模型 综述 视频理解 视频生成
arXiv HuggingFace PDF

用世界建模统一视角，把视频理解、生成、统一与交互组织为读、写、共享、交互四大操作

前置知识

世界模型（World Model）

世界模型是智能体对环境动态的内部预测模型：给定状态 $w_t$ 与动作 $a_t$，预测 $w_{t+1}\sim\mathcal{T}(\cdot\mid w_t,a_t)$。源自基于模型的强化学习（Dreamer 等），思想是先在想象中模拟未来、评估动作再执行。本文将其形式化为潜在时间世界 $W$ 与传感过程 $O$ 构成的部分可观测动力系统。

全文以'视频是潜在世界的部分、有损投影'为公理，四操作框架、两种一致性区分与 2×3 分类法全部建立在世界模型概念之上，不理解它就无法理解论文的组织逻辑。

扩散模型与流匹配（Diffusion & Flow Matching）

扩散模型学习逆转逐步加噪过程 $z_k=\sqrt{\bar\alpha_k}z_0+\sqrt{1-\bar\alpha_k}\epsilon$，以噪声预测损失训练；流匹配学习速度场 $dz_k/dk=v_\theta(z_k,k,c)$，线性路径目标速度为 $\epsilon-z_0$。两者是当前视频生成与交互式世界模型的主流引擎。

第5章'写作'的绝大多数系统（Sora、Wan、HunyuanVideo 等）和第7章交互式世界模型的逐帧生成均以扩散/流匹配为生成目标，必须掌握才能读懂架构与训练机制的讨论。

自回归与掩码 token 建模（AR & Masked Modeling）

自回归建模按 $p_\theta(z_{1:N}\mid c)=\prod_i p_\theta(z_i\mid z_{<i},c)$ 逐个生成；掩码建模隐藏位置集 $M$，以交叉熵 $\mathcal{L}_{mask}$ 并行预测被掩 token，配 MaskGIT 迭代解码。二者是离散视频 token 的两种序列建模范式。

统一模型的离散 token 路线（Emu3、Video-LaVIT）与可玩世界模型（Genie、GameNGen）都建立在这两种范式上，也是理解'读/写是否共享一个目标函数'的前提。

Video-LLM 与视觉-语言连接器

Video-LLM 用编码器 $E_v$ 提取视频特征，连接器 $P$ 转成语言兼容嵌入 $z_{1:L}=P(E_v(x_{1:T}))$ 送入 LLM。连接器有线性投影、Q-Former 重采样、门控交叉注意力等；token 数 $L$ 决定细节与上下文成本的权衡。

第4章'阅读'的架构演进（Table 5）、长视频上下文管理、流式输入等讨论全部围绕这条编码器—连接器—LLM 管线展开。

VAE 与视频 tokenizer（连续/离散潜在表示）

VAE 把视频压缩为连续潜变量 $z$ 供生成器建模、再解码回帧；离散 tokenizer（VQ-VAE、LFQ 等）把潜变量量化为码本索引供序列模型预测；混合与语义对齐设计（OneVAE、VILA-U）让同一表示兼顾重建与理解。

生成与统一章节的核心分歧——理解与生成到底共享什么表示——完全取决于 tokenizer 的连续/离散/语义对齐设计（Figure 4），这是读懂第5、6章的基础。

潜在动作学习（Latent Action Learning）

在没有动作标注的视频上，逆动力学模型从相邻帧之间的变化中推断一个潜在动作变量，前向模型再用'先前帧+潜在动作'预测后继帧；用离散码本或连续瓶颈限制信息量以得到紧凑控制码（Genie、LAPO、LAPA、Moto）。主要风险是潜在动作可能锁定相机运动或背景变化而非智能体的动作（LAOM 的干扰物实验）。

这是开放挑战'从无标注视频扩展控制'的核心技术，决定互联网视频能否变成可交互世界模型的训练数据。

模型预测控制（MPC）与基于模型的强化学习

MPC 在每一步用学到的转移模型向前滚动多条候选动作序列，挑选最优前缀执行，观测到新状态后重新规划；基于模型的 RL（Dreamer 系列）进一步把策略训练放进学习到的想象环境中，让策略在生成观测上做强化学习。潜在状态世界模型（V-JEPA 2-AC、DINO-WM）正是以特征空间 rollout 加 MPC 实现闭环控制。

交互格（2×3 分类的右下角）的闭环应用、Dreamer 4 的想象训练、WorldGym 式策略评测都建立在该范式上，是理解'交互'操作价值的钥匙。

教师强制与曝光偏差（Teacher Forcing & Forcing 家族）

教师强制在训练时以真实历史为条件预测下一帧，推理时却要消费自身带误差的输出，几何或身份上的小误差会作为下一步输入而累积漂移。Forcing 家族（Diffusion Forcing、CausVid、Self-Forcing、Causal Forcing 等）通过给序列元素独立噪声级、在自生成历史上训练、分布匹配蒸馏等方式对齐训练与推理条件。

长时程一致性是世界模型四大技术挑战之一，其直接成因是曝光偏差，主流解法（Table 17）是理解流式/交互生成的必备背景。

研究动机

视频基础模型在理解与生成两侧进展迅猛：理解侧 Qwen3-VL 已把多模态上下文扩展到 256K token，生成侧 Sora、Wan、Seedance 2.0 等能合成分钟级视频。但两条线各自为战，且都没有回答根本问题：模型到底学到了观测视频与背后演化世界的什么关系？问题有三。其一，评测误导：理解基准的聚合准确率可从单帧、文本先验或静态外观作弊——TempCore、Video-Index 用 text-only/单帧/乱序基线筛除捷径题；生成基准的 FVD、CLIPScore 度量感知保真度，无法回答'物体出画后世界状态是否被维护'。其二，现象层面：生成的视频可逐帧平滑（时间连贯）却在世界层面不一致——物体出画再入换身份、重访房间布局改变、动作效果事后消失（Observation 2.5）。其三，文献碎片化：已有综述分别聚焦通用世界模型、交互式视频世界模型、3D/4D 建模、长视频生成或音视频模型，没有框架把理解、生成、统一模型与世界模型放进同一套概念，'Sora 即世界模拟器'也缺乏可检验定义。

本文的目标是本文的目标是把'世界建模'变成一个统一、可定义、可分级、可检验的分析透镜，据此系统梳理视频基础模型的全部分支。具体包括四件事。(1) 形式化基础：把观测视频 $V=(x_1,\dots,x_T)$ 定义为潜在时间世界 $W=(w_t)_{t\ge1}$ 的部分、有损、时序化投影 $x_t\sim O(\cdot\mid w_t,\pi_t)$，世界动力学为 $w_{t+1}\sim\mathcal{T}(\cdot\mid w_t,a_t)$；并强调模型构建的表示状态 $s_t$ 一般不等于真实世界状态 $w_t$。(2) 四操作框架：阅读（$V\to W$，从视频推断世界属性）、写作（$W\to V$，从条件合成视频）、共享（$V\leftrightarrow W$，理解与生成共享组件）、交互（$W$ 自循环，在动作与观测下演化状态），分别对应第4—7章。(3) 证据标准：严格区分时间连贯与世界一致性两种性质，提出从'输出可信'到'决策效用'的四级证据阶梯。(4) 系统盘点任务、数据、表示、架构、控制、应用与基准，蒸馏跨领域的开放挑战，并公开配套的分类阅读清单与资源库。

与已有工作不同的是，本文的独特之处在组织原则：不以架构、任务或模态为主线，而以'模型在观测视频与动态世界之间建立了什么关系'为中心问题。由此带来三个差异。第一，严格区分两种一致性：时间连贯 $d(\hat x_t,\hat x_{t+1})\le\delta$ 是轨迹的属性，世界一致性要求存在可采纳世界轨迹 $w_{1:T}\in\mathcal{C}$ 使每个 $\hat x_t$ 落在 $O(\cdot\mid w_t,\pi_t)$ 的支撑内——二者互不蕴含（硬切违反连贯但世界一致；换身份的平滑视频连贯却无世界轨迹可解释），'画面流畅'与'世界正确'第一次被拆开。第二，提出证据阶梯：每个操作按'可信输出→忠实于证据/条件→世界状态一致→决策效用'四级累积，更强的世界建模主张需要更高级别证据，把'是不是世界模型'从口号变成可分级检验的命题。第三，对世界模型给出二维分类（预测空间×转移接口），把 GAIA、Genie、V-JEPA 2-AC、Dreamer 4 等系统放进同一张 $2\times3$ 网格，并公开里程碑时间线与分类阅读资源库。

核心方法

先给直觉：这篇综述像一张地图，把'视频 AI'看成同一个隐藏世界的四种关系——读懂它（读）、画出来（写）、读和写共用一套机制（共享）、施加动作时预测它的回应（交互）。技术路线上，第2节搭形式化骨架：潜在世界 $W$、观测视频 $V$、表示状态 $s_t\sim q_\theta(\cdot\mid x_{\le t},a_{<t})$ 与四操作定义；第3节铺共同地基——七类视频场景（Table 3）、Video-LLM 管线、扩散/流匹配/自回归/掩码四种生成目标、世界模型 $2\times3$ 分类。第4—7章逐一举证，每章遵循统一模板：任务/数据/评测 → 表示与预训练 → 架构 → 推理控制 → 应用。第4章（读）覆盖语义/空间/时间/物理/因果五维基准与对比/掩码/预测/生成四族表示学习；第5章（写）覆盖连续/离散/混合潜表示、四类生成范式与六类控制策略；第6章（共享）覆盖四种统一架构与四种学习范式；第7章（交互）按 $2\times3$ 网格逐格评述，归纳可控性、记忆、实时、物理因果四大挑战。第8节收束为八个开放方向。

核心创新是把'世界建模'从隐喻变成可定义、可分级、可检验的分析框架，与按任务或架构分类的旧综述有本质区别。三个互锁工具构成骨架。第一，四操作的形式化定义（Definition 2.6）：阅读估计 $\hat\varphi_t\sim r_\theta(\cdot\mid s_t)$，按对目标属性 $\varphi(w_t)$ 的准确度评测；写作采样 $\hat x_{1:T}\sim p_\theta(x_{1:T}\mid c)$；共享要求读映射 $\theta_R$ 与写映射 $\theta_W$ 至少共享参数、token、接口或训练目标之一，并在匹配资源下可测得协同；交互滚动 $s_{t+1}\sim p_\theta(s_{t+1}\mid s_{\le t},a_t,c_t)$，需要时以 $g_\theta$ 解码为观测，按'预测变化是否跟随输入且世界一致'评测。第二，时间连贯与世界一致的分离（Definition 2.4）：连贯是轨迹的属性，一致是世界状态的属性，互不蕴含。第三，证据阶梯（Table 2）：四级证据明确'生成质量不等于世界建模'。对交互范式再叠加二维分类（预测空间×转移接口），使 Dreamer 4 与 GameNGen、V-JEPA 2-AC 与 GAIA-1 的异同一目了然。

方法步骤详情

论证步骤如下。第一步（第2节）：定义潜在世界、观测视频、表示状态与两种一致性（Definition 2.1—2.5），给出四操作形式化。第二步（第3节）：盘点七类视频场景；回顾 Video-LLM 管线；给出扩散、流匹配、自回归、掩码四种生成目标的损失；建立 $2\times3$ 世界模型分类。第三步（第4章，读）：按语义/空间/时间/物理/因果五维整理基准（Table 4），评述四族表示学习、Video-LLM 架构与数据、智能体系统及应用。第四步（第5章，写）：按条件组织生成任务，评述潜表示（Figure 4）、生成范式（Figure 5）与系统（Table 12），归纳六类控制策略（Figure 7/Table 13）。第五步（第6章，共享）：比较四种统一架构（Figure 8/Table 14）与四种学习范式（Figure 9），给出协同证据阶梯（Table 15）。第六步（第7章，交互）：逐格评述 $2\times3$ 网格（Figure 10/Table 16），深入可控性、记忆、实时性与物理因果接地，整理基准（Table 19）。第七步（第8节）：蒸馏八个开放挑战及行动项。

技术新颖性

作为综述，其新颖性体现在四点。第一，概念统一的野心与完成度：首次把视频理解、视频生成、统一视频模型、视频世界模型四条平行线（Figure 1 的 2017—2026 里程碑时间线清晰展示其平行演进，从 I3D/SV2P 到 Sora 2/Genie 3/Dreamer 4）纳入单一操作框架，且以公理化定义而非松散叙述支撑。第二，可检验的证据标准：证据阶梯（Table 2/15）把'世界建模主张'分级，并据此对领域做了一次'证据审计'——指出大多数统一模型只达到 Level 1（双向各自可用），受控协同证据稀少且多为单向；交互式世界模型的评测协议彼此不可比。第三，方法学的显性化：全文穿插显式 Insight 框，把可复用的设计模式提炼为一句话结论，例如'渲染保真度与有状态控制是两条独立的扩展轴''渲染、因果 rollout 与决策状态可以各用专门组件但必须对同一历史与动作给出一致结论''扩展世界模型需要干预数据而非更多片段'。第四，开放资源与持续性：配套项目页面与 GitHub 仓库提供分类阅读清单、分类法、代码、数据与资源，使综述成为可持续维护的社区基础设施而非一次性文献快照。

Knowledge graph of the four research fields.
Figure 2: Knowledge graph of the four research fields.
Four families of video representation learning.
Figure 3: Four families of video representation learning.
Latent representations for video generation.
Figure 4: Latent representations for video generation.
Generative modeling paradigms.
Figure 5: Generative modeling paradigms.
System-level organization for video generation.
Figure 6: System-level organization for video generation.
Control mechanisms by intervention site.
Figure 7: Control mechanisms by intervention site.
Four architecture families for unified video understanding and generation.
Figure 8: Four architecture families for unified video understanding and generation.
Learning paradigms in unified video models.
Figure 9: Learning paradigms in unified video models.
The 2 × 3 taxonomy of video world models.
Figure 10: The 2 × 3 taxonomy of video world models.

实验结果

这是综述而非实验论文，其'结果'是对领域的结构化发现。第一，领域重心迁移：从片段级识别与感知保真度转向持久状态、可控演化、物理因果有效性与决策效用导向的评测（Figure 1 时间线可见）。第二，写作侧版图成熟：扩散/流匹配（Sora、Wan、HunyuanVideo）、离散 token 自回归/掩码（VideoPoet、MAGVIT-v2）与六类控制机制各有代表系统，但文中 Insight 指出'渲染保真度与有状态控制是两条独立的扩展轴'。第三，共享侧协同证据薄弱：受控证据以单向为主——Lance 数据配比消融双向成立（理解数据提升 VBench 生成、生成数据提升 MVBench 理解），ReViSE 提升编辑，EWAM 干预未来特征改变策略行为。第四，交互侧以 $2\times3$ 网格（Table 16，22 个协议）统一从 SV2P、GAIA-1、Genie 到 V-JEPA 2-AC、DINO-WM、Dreamer 4 的谱系；实时化显著（Vidu S1 达 42 FPS@540p、Wan-Streamer 25 FPS）。第五，评测碎片化：Table 19 显示各基准分数不可比。第六，收束为八个开放挑战：长时程一致性、物理因果接地、可测协同、标准化评测、无标注视频控制扩展、跨场景跨具身泛化、随机世界与稀有事件、信任与安全。

Notation used throughout the survey.
Table 1: Notation used throughout the survey.
Evidence ladder for claims about the world.
Table 2: Evidence ladder for claims about the world.
Video scenarios, their defining evidence conditions, modeling demands, and representative resources.
Table 3: Video scenarios, their defining evidence conditions, modeling demands, and representative resources.
Video-understanding benchmarks organized by the primary world-state property tested.
Table 4: Video-understanding benchmarks organized by the primary world-state property tested.
Video-LLM architectures and component training status.
Table 5: Video-LLM architectures and component training status.
Datasets for Video-LLM pretraining and instruction tuning.
Table 6: Datasets for Video-LLM pretraining and instruction tuning.
Agentic video systems.
Table 7: Agentic video systems.
Video-agent benchmarks for evidence acquisition, interaction control, and persistent memory.
Table 8: Video-agent benchmarks for evidence acquisition, interaction control, and persistent memory.
Training resources for conditioned video generation and editing.
Table 9: Training resources for conditioned video generation and editing.
Measurement functions and learned scorers for video generation.
Table 10: Measurement functions and learned scorers for video generation.
Benchmarks for conditioned video and audio-video generation and editing.
Table 11: Benchmarks for conditioned video and audio-video generation and editing.
Video-generation systems.
Table 12: Video-generation systems.
Control strategies for video generation, grouped by where the control signal enters the generator.
Table 13: Control strategies for video generation, grouped by where the control signal enters the generator.
Representative unified video systems.
Table 14: Representative unified video systems.
Evidence ladder for unified video models.
Table 15: Evidence ladder for unified video models.
Video world-model implementations and evaluated protocols.
Table 16: Video world-model implementations and evaluated protocols.
Training mechanisms for causal and streaming generation.
Table 17: Training mechanisms for causal and streaming generation.
Memory mechanisms for long-horizon video generation and world modeling.
Table 18: Memory mechanisms for long-horizon video generation and world modeling.
World-model benchmarks and protocols by target, with limits on interpreting and comparing scores.
Table 19: World-model benchmarks and protocols by target, with limits on interpreting and comparing scores.
查看结构化数据
任务指标本文基线提升
视频基础模型的能力声明分级 证据阶梯（四级） 提出'可信输出→忠实于证据/条件→世界状态一致→决策效用'四级标准，并为读/写/共享/交互四个操作分别列出各级对应基准（Table 2） 以往工作以任务特定指标（识别准确率、FVD、CLIPScore）直接宣称模型能力 把'画面好看'与'建模世界'解耦，为世界模型主张提供可分级检验的统一语言
视频世界模型分类 2×3 网格覆盖 观测空间/潜在状态 × 被动/动作条件/交互六个格子全部给出代表系统，Table 16 列出 22 个已评估协议（SV2P、GAIA-1、Vista、Genie、GameNGen、Matrix-Game、V-JEPA 2-AC、DINO-WM、H-JEPA 等） 以往综述按单一方向组织（可玩世界生成、驾驶预测、3D/4D 世界建模各自成篇） 统一看似无关的系统谱系，并暴露空白：潜在状态交互格的代表系统与评测探针远少于观测空间交互格
统一视频模型的功能协同 协同证据等级（Table 15） 视频原生受控证据仅数例：Lance 数据配比消融双向成立（理解数据提升 VBench 生成、生成数据提升 MVBench 理解）、ReViSE 可微 VLM 奖励提升编辑（RVE-Bench 消融）、CounterVid 反事实数据降低动作/时序幻觉、EWAM 干预未来特征改变策略成功率 绝大多数统一模型只报告 Level 1（理解与生成各自得分）与架构共享，未做受控迁移实验 明确指出受控双向迁移实验与视频原生循环一致性标准（不变量定义、答案泄漏阻断）缺失
实时交互式视频生成 FPS / 端到端加速比 汇总代表系统：Vidu S1 最高 42 FPS@540p（消费级 GPU）、Wan-Streamer 25 FPS、TurboDiffusion 在单消费级 GPU 上端到端加速约两个数量级；Waypoint-1.5 分别报告渲染 FPS、潜在 FPS 与控制率 多步双向扩散的离线生成（数秒至分钟级延迟，无法支撑闭环控制） Forcing 家族训练机制 + 少步分布匹配蒸馏 + 对抗后训练（Seaweed-APT/AAPT）使因果流式生成接近实时
长时程记忆机制 机制类型学（Table 18） 归纳四类记忆：视觉检索（WorldMem、RELIC、Keepsake）、空间缓存（VMem、长期空间记忆、Matrix-Game 3.5）、计划动力学+检索（WorldDirector）、可寻址 KV 摘要与固定大小记忆（WorldTrace、Honeycomb、Echo-Infinity、FramePack） 以往多以单一系统视角报告上下文扩展技巧 给出各机制的视界扩展方式与主要失效模式（存档无限增长、几何误差持久化、离屏演化缺失、聚合丢失细节），便于按场景组合

局限与改进

局限可分作者明示与笔者观察两类。作者明示：(1) 覆盖限于公开研究，封闭系统（Sora、Gemini、Veo、Kling）仅在官方技术文档记录时收录，Table 12 不少字段为 NR；(2) 传感过程 $O$ 与可采纳轨迹集 $\mathcal{C}$ 不可观测，Definition 2.4 是'评测目标而非指标'，世界一致性只能靠重访、遮挡、干预类基准间接探针；(3) 评测协议彼此不可比——Table 19 逐条列出各基准的解释限制（聚合分掩盖维度级失败、重访测试测不出离屏动态），综述无法给出跨系统统一排名。笔者观察：(1) 全文约 66 页、引用六百余篇，四操作边界固有重叠（交互式世界模型一边读历史一边写下一帧），框架的分类学价值大于对实践者的逐步指导；(2) 读/写是否互逆、循环一致性如何设定不变量，视频原生标准尚未建立（Table 15 最后一行）；(3) 内容以 2026 年 10 月为快照，具体系统条目（Table 12/14/16）会较快过时，但定义、证据阶梯与挑战部分更持久；(4) 对算力成本、数据许可、中文等多语言视频生态着墨很少。

独立分析的弱点

独立分析的弱点及改进方向：(1) 证据阶梯虽好，但 Level 3/4 缺现成协议——应把 Table 2/15 落地为可执行评测套件（类似 stable-worldmodel 平台）。(2) '协同'论证依赖消融，视频原生受控双向实验几乎只有 Lance 数据配比一例——应推广 Figure 13 式'仅开关跨方向通路、其余资源全匹配'的对照协议，并预注册不变量定义防答案泄漏。(3) 潜在状态与观测空间世界模型探针完全不同（ARC-Bench 特征距离排序、PokeWorld 质量/阻力解码 vs 逐帧指标），跨范式比较缺标准——应发展无需像素解码器的潜在读出探针，并把固定候选动作排序与闭环成功率并列报告，防止频繁重规划掩盖糟糕评分器。(4) 潜在动作易被干扰物污染（LAOM 证明潜在码会吸收相机/背景运动）——应以小标注锚定、多视角不变性、时间瓶颈与干预配对数据约束其语义，并强制报告干扰物迁移测试。(5) 信任安全层面，检测器在 GenVideo 百万级基准上对 held-out 生成器准确率大幅下降——应把对未见生成器/变换的鲁棒性设为默认报告项，并对开放权重模型研究执行机制与运行边界监控。

未来方向

作者提出的八个方向：(1) 长时程一致性——发展遮挡期间持续更新隐藏状态的记忆（冰块融化例子：重放旧观测返回过时状态），配合 LIVE 式正反循环一致性，以分层退化曲线取代单一终点分数；(2) 物理因果接地——结合物理先验与干预配对数据（PhysEditWorld 在不同重力下重放同一游戏回合），目标'受控变化生效+无关状态不变'；(3) 可测协同——把迁移路径做成可开关组件，用匹配资源对照与往返一致性作训练信号与测试；(4) 标准化评测——按预测空间与转移接口匹配协议，报告视界、动作频率、判定器与控制到显示延迟分布；(5) 无标注视频控制扩展——用小标注集、多视角不变性、时间瓶颈与干预配对锚定潜在动作；(6) 跨场景跨具身泛化——以效果等价（位移、接触、任务完成）而非控制值相似为迁移目标；(7) 随机世界与稀有事件——发展输出校准结果概率的生成器，用适当评分规则与校准曲线取代多样性指标；(8) 信任安全——检测/水印/溯源对未见生成器的鲁棒性。可延伸：生成式推理中间帧的可验证性、数据引擎场景下的分布偏移监控。

复现评估

作为综述，'复现'意味着按其分类与资源导航文献，极易实现：论文公开项目页面（vid-gen.github.io/video-world-model-survey）与 GitHub 仓库（github.com/vid-gen/awesome-video-world-model），提供分类阅读清单、分类法、代码、数据与资源，无需任何算力即可使用。若要复现综述引用的模型，开源情况分层明显：阅读侧 Video-LLaVA、Qwen2.5/3-VL、InternVL3.5、VideoLLaMA3 等权重开放；生成侧 Open-Sora、CogVideoX、Wan、HunyuanVideo、LTX-Video 开源，而 Sora、Veo、Kling、Seedance 封闭；世界模型侧 V-JEPA 2/2.1、DINO-WM、Genie(1)、DIAMOND、Oasis、Matrix-Game、Cosmos 开源或部分开源，Genie 3、Dreamer 4 有技术报告但权重未开放。数据侧 HowTo100M（136M clips）、InternVid（234M clips）、Panda-70M（70.8M clips）、OpenVE-3M（3M 编辑三元组）公开，但动作-观测同步数据（DROID、Open X-Embodiment）与干预配对数据（PhysEditWorld、CG-World）规模小得多，是复现交互式世界模型的主要瓶颈；训练单个格子的模型通常需要数十至数百 GPU 量级资源，而验证综述本身的结论不需要任何训练。

论文图表

Selected milestones in the parallel evolution of video understanding, generation, shared representations and workflows, and world prediction and control.
Figure 1: Selected milestones in the parallel evolution of video understanding, generation, shared representations and workflows, and world prediction and control.

2017—2026 年四条研究线（视频理解、视频生成、统一理解+生成、视频世界模型）的代表性工作时间线：从 I3D/SlowFast/VideoBERT，经 VideoGPT/VDM/Sora/Kling/Wan/Seedance 2.0，到 NExT-GPT/Emu3/Show-o2/Emu3.5，以及 SV2P/GAIA-1/Genie/V-JEPA 2-AC/Dreamer 4/Genie 3/Matrix-Game 2.0，每项标注机构。

一图看清四条线的平行演进与汇聚趋势，是全文'世界建模透镜'叙事的时间证据，也方便读者按年份定位任何模型的坐标。

Hidden state evolves during occlusion; replaying an old observation can miss that change.
Figure 11: Hidden state evolves during occlusion; replaying an old observation can miss that change.

冰块在遮挡期间持续融化：若记忆只是存档并重放旧观测，重访时返回的是过时的冰块；预测式记忆应让隐藏状态在不可见期间继续演化。

这是'长时程世界一致性'挑战的核心隐喻，区分了'记住看过的'与'追踪看不见的变化'两种记忆，直接指向 MemoBench/MBench/STEVO-Bench 类基准的设计动机。

Changing gravity alters the trajectory while unrelated scene properties remain fixed.
Figure 12: Changing gravity alters the trajectory while unrelated scene properties remain fixed.

干预级因果测试示意：同一初速度下改变重力，球的轨迹应改变，而相机与背景等无关属性保持不变。

定义了物理因果接金的金标准证据形态——'受控变化生效 + 无关状态不变'——是 PhysEditWorld/What-If World 等基准和 Figure 18 信任讨论的共同参照。

Two systems with matched resources differ only in whether information passes between understanding and generation.
Figure 13: Two systems with matched resources differ only in whether information passes between understanding and generation.

可测协同的对照实验设计：两个系统任务、数据、容量、算力全匹配，唯一差别是是否开启跨方向信息通路；若时序分析改善生成、生成中间态改善推理，则协同成立。

给出了检验'统一模型是否真有协同'的实验协议模板，是第8.3节挑战的方法论核心，也指出现有证据为何多为单向。

Video and feature predictions need different probes, but both face the same decision test.
Figure 14: Video and feature predictions need different probes, but both face the same decision test.

两个为同一机器人服务的预测器分别输出视频与特征：视频可用视觉与轨迹检查，特征需要状态探针，但两者都必须通过同一决策测试——各自的原生指标满分也可能在控制上失败。

说明跨范式世界模型评测不可比问题的根源，支撑'按预测空间匹配协议 + 决策效用兜底'的标准化评测主张。

Action effects mix with camera and background motion.
Figure 15: Action effects mix with camera and background motion.

潜在动作歧义示意：抓取器推方块的同时相机平移、风车转动，为重建训练的潜在码可能吸收相机与背景运动；干扰物实验证明少量动作监督即可显著改善因子恢复。

揭示'从无标注视频扩展控制'这一挑战的技术难点：重建准确与码本使用率都不是控制有用性的证据。

A held-out scene–body pair tests whether familiar factors compose while preserving action effects.
Figure 16: A held-out scene–body pair tests whether familiar factors compose while preserving action effects.

训练覆盖人手在实验室与厨房、机器人只在实验室；部署'机器人在厨房'这一从未见过的场景-本体组合，检验表示与控制映射能否在组合泛化下仍把方块移到目标。

把跨具身泛化的零样本主张拆成'场景泛化'与'本体泛化'两个可分别控制的因素，纠正了含糊的 zero-shot 声明。

Valid futures differ in frequency, and invalid and unreadable samples must be counted separately.
Figure 17: Valid futures differ in frequency, and invalid and unreadable samples must be counted separately.

同一驾驶历史下行人可能等待、在车后过街或抢行——有效未来频率不同；生成器能渲染罕见抢行却未必赋予其可靠概率，且无效与不可读样本必须分开计数。

引出随机世界与稀有事件挑战：多样性指标与 best-of-many 评分会错置概率质量，需要校准曲线与适当评分规则。

Synthetic video can shape beliefs, while predicted rollouts guide actions; trustworthy use requires provenance checks and intervention when predictions conflict with observations.
Figure 18: Synthetic video can shape beliefs, while predicted rollouts guide actions; trustworthy use requires provenance checks and intervention when predictions conflict with observations.

信任与安全全景：合成视频影响真实世界信念、预测 rollout 指导真实动作；可信使用需要检测/水印/溯源三道防线，并在预测与观测冲突时具备干预与回退机制。

把世界一致性的进步与'伪造检测线索消失'的安全悖论并置，是综述少有的把能力演进与部署风险联系起来的图。

相似论文推荐

DreamWorld：视频生成中的统一世界建模 🎯 75.1%
视频生成作为世界模型的机制视角：状态与动力学 🎯 74.6%
世界中的世界：用世界模型探索视频世界 🎯 71.1%
视频生成模型作为世界模型：高效范式、架构与算法 🎯 70.8%
Uni-ViGU：以扩散视频生成器为基底统一视频生成与理解 🎯 69.7%