视频生成作为世界模型的机制视角：状态与动力学 A Mechanistic View on Video Generation as World Models: State and Dynamics
从状态构建和动力学建模两个维度，系统梳理视频生成模型迈向世界模拟器的技术路径
前置知识
世界模型（World Model）
世界模型是一种能够内部模拟环境动态的系统，它通过维护对当前世界状态的内部表示（状态），并学习状态如何随时间演化（动力学），来预测行动的后果。这个概念起源于认知科学中的心理模型理论，后在控制论中被形式化为状态空间表示，在现代深度学习中则体现为基于数据驱动的参数化系统。世界模型的核心三要素是：观测（observation）、状态（state）和动力学（dynamics），分别对应感知、记忆和推理。
本文的核心论点是将视频生成模型纳入世界模型的理论框架，理解世界模型的定义和演化历史是理解全文分类体系的基础。
隐式状态与显式状态（Implicit vs Explicit State）
隐式状态范式不显式构建紧凑的潜在变量来表示世界，而是依赖外部记忆机制管理历史观测的上下文窗口，状态等价于经过压缩和检索的历史信息集合。显式状态范式则通过内部递归机制将历史蒸馏为固定大小的潜在变量，类似传统状态空间模型中的状态向量，支持常数复杂度的长时间推理。两者的核心区别在于信息存储方式：隐式状态是'管理过的历史缓存'，显式状态是'压缩后的潜在表示'。
这是本文提出的核心分类维度之一，贯穿整个论文的分析框架，理解这两种范式的差异是把握论文技术脉络的关键。
因果注意力掩码（Causal Attention Mask）
在Transformer架构中，因果注意力掩码是一种限制机制，确保位置i的token只能关注位置j≤i的token，防止未来信息泄露到过去。这使得模型在生成序列时严格遵循时间顺序，每个时刻的预测只依赖于之前的历史。与之相对的是双向注意力（bidirectional attention），允许所有位置相互关注，虽然能捕获更丰富的上下文但丧失了因果推理能力。
论文将因果架构重构作为增强视频模型因果性的核心路径之一，因果注意力掩码是实现这一目标的关键技术手段。
状态空间模型（State-Space Model, SSM）
状态空间模型是一种数学框架，通过状态方程 $\dot{x} = f(x, u)$ 和观测方程 $y = g(x)$ 来描述动态系统。状态 $x$ 是对系统当前状态的充分统计量，能够完全描述系统而不含冗余。在深度学习中，SSM 的现代变体如Mamba通过线性递归机制维护隐藏状态，以 $O(1)$ 的常数复杂度处理任意长度序列，相比Transformer的 $O(N^2)$ 注意力复杂度具有显著的计算优势。
论文将基于SSM的视频模型归类为显式隐变量状态范式，SSM的递归更新特性使其成为构建高效世界模型状态表示的重要技术路线。
暴露偏差（Exposure Bias）
暴露偏差是序列生成模型中的经典问题：训练时模型看到的是真实的历史数据（teacher forcing），但推理时必须基于自己生成的不完美输出进行后续预测。这种训练-推理分布不匹配会导致误差在长序列中累积放大，生成质量随序列长度增加而下降。在视频生成中，这一问题尤为突出，因为视频帧之间的强时序依赖意味着早期帧的微小误差可能在后续帧中被放大为视觉伪影或物理不一致。
论文讨论了多种'forcing'策略来缓解暴露偏差，如Self-Forcing、Rolling Forcing等，这些是实现长时序因果视频生成的关键技术挑战。
研究动机
当前大规模视频生成模型（如Sora、Veo、Kling、Wan、Gen-3等）已经展现出涌现的物理一致性——它们似乎学会了尊重重力、理解碰撞动力学、识别物体持久性，而无需显式的物理指令。这使得视频生成模型被越来越多地讨论为潜在的世界模型。然而，当代'无状态'的视频架构与经典的状态中心世界模型理论之间存在根本性鸿沟。具体而言，现有视频模型在长时间推理场景下面临三个核心问题：第一，它们依赖不断膨胀的观测序列 $O_{1:t}$ 作为隐式状态，导致计算负担随视频长度线性甚至平方级增长（$O(N)$ 到 $O(N^2)$）；第二，缺乏显式状态意味着因果解耦不明确，双向注意力机制使模型丧失了沿序列进行因果推理的能力；第三，外部输入（如文本提示）会干扰模型对因果性的理解——模型让苹果下落是因为理解了物理动力学，还是仅仅因为文本提示告诉它要这样做，这变得无法区分。
本文的目标是本文的核心目标是弥合当代视频生成架构与经典世界模型理论之间的鸿沟，具体而言：第一，建立一个统一的理论框架，将视频生成模型定位为世界模型的一个实例，明确其在观测、状态、动力学三要素上的特征和局限；第二，提出一个以状态构建和动力学建模为双支柱的系统性分类法，将现有技术文献组织成清晰的结构，帮助研究者快速理解不同方法的技术本质和适用场景；第三，倡导评估范式的转变，建立从视觉保真度到功能性基准（物理持久性、因果推理能力）的三级评估体系，推动领域从'生成看起来逼真的视频'向'构建稳健的通用世界模拟器'演进。
与已有工作不同的是，本文的独特切入角度在于，它不是简单地综述视频生成技术的进展，而是从世界模型的理论根源出发，建立了一个统一的分析框架来审视视频生成模型。具体来说，论文抓住了一个被忽视的关键点：现有视频模型与经典世界模型理论之间的'状态'鸿沟。认知科学中的心理模型、控制论中的状态空间表示、以及模型强化学习中的潜状态动力学，都依赖于显式的状态表示来实现高效推理和因果解耦，但当代视频生成模型恰恰缺失了这一核心组件。论文通过提出以'状态构建'和'动力学建模'为双支柱的新分类法，系统地分析了弥合这一鸿沟的技术路径，这是此前综述工作未曾采用的视角。此外，论文还倡导评估范式的转变——从视觉保真度转向功能性基准测试，强调物理持久性和因果推理能力的评估。
核心方法
本文是一篇综述论文，其核心贡献不是提出新的技术方法，而是构建了一个系统性的分析框架来审视视频生成模型向世界模型演进的技术路径。论文的框架可以用一个比喻来理解：如果把世界模型比作一个'内心剧场'，那么'状态'就是舞台上演员的位置和姿态的快照，'动力学'就是剧本规定的下一幕该如何变化。当前的视频模型就像一个没有剧本的即兴表演——它们能生成很逼真的画面，但缺乏对'为什么下一帧应该是这样'的深层理解。论文的技术路线是：首先从认知科学和控制论追溯世界模型的理论根源，提炼出观测、状态、动力学三个核心要素；然后以此为坐标系，将现有视频生成技术映射到这个空间中，识别出隐式状态（记忆机制）和显式状态（潜在压缩）两大范式，以及因果知识整合和因果架构重构两条增强动力学的技术路径。
本文最核心的创新是提出了一个以'状态'和'动力学'为双支柱的分类法，将视频生成模型纳入世界模型的理论框架。这个分类法的本质区别在于：它不是按照传统的技术维度（如模型架构、训练策略、应用领域）来组织文献，而是从世界模型的功能性需求出发，追问'这个方法如何解决状态表示问题'和'这个方法如何解决因果推理问题'。在状态维度，论文将现有方法分为隐式状态（通过记忆机制管理历史上下文，包括压缩、检索、巩固三个功能原语）和显式状态（通过内部递归将历史蒸馏为紧凑潜在变量，包括耦合状态和解耦状态两种形式）。在动力学维度，论文区分了因果架构重构（从架构层面确保时间顺序）和因果知识整合（利用外部大模型增强推理能力）。这种分类法的价值在于，它揭示了从'内容生成器'到'世界模拟器'的技术演进路径，为研究者提供了清晰的方向指引。
方法步骤详情
作为综述论文，本文的'方法'是其分析框架的构建过程，可分为四个步骤。第一步，理论溯源：论文从认知科学的心理模型理论出发，追溯到控制论的状态空间表示，再到现代深度学习中的模型强化学习（MBRL），提炼出世界模型的三个核心要素——观测、状态和动力学，并形式化了状态估计（$S_t \sim P_\phi(S_t | O_{1:t})$）和状态转移（$S_{t+1} = f(S_t, A_t)$）两个核心操作。第二步，范式定位：论文将当代视频生成模型定位为'无状态范式'，指出其状态等价于观测历史本身（$S_t \equiv O_{1:t}$），动力学退化为下一观测预测（$O_{t+1} \sim P_\theta(O_{t+1} | O_{1:t}, A_t)$），并分析了这种简化带来的计算和因果性代价。第三步，技术分类：在状态维度，论文将现有方法分为隐式状态（记忆机制，包含压缩、检索、巩固三个功能原语）和显式状态（潜在压缩，包含耦合状态和解耦状态两种架构）；在动力学维度，分为因果架构重构（因果掩码、自回归结构）和因果知识整合（VLM引导、统一架构）。第四步，评估与前瞻：论文建立了三级评估体系（基础质量、物理持久性、因果性），并识别了两个关键前沿方向。
技术新颖性
本文的技术新颖性体现在三个方面。第一，分类视角的创新：与此前按架构（如DiT vs U-Net）或应用（如T2V vs I2V）组织的综述不同，本文从世界模型的功能性需求出发，以'状态'和'动力学'为核心维度，这种分类法能够穿透表面的技术差异，揭示不同方法在解决同一根本问题上的本质联系。第二，隐式状态的功能原语分解：论文将记忆机制分解为压缩（信息消化）、检索（信息路由）和巩固（信息蒸馏）三个功能原语，并建立了与认知科学记忆系统的对应关系（编码、巩固、检索），这种分解为理解和设计记忆机制提供了清晰的功能性框架。第三，评估范式的倡导：论文明确提出了从视觉保真度到功能性基准的评估转变，建立了质量、持久性、因果性三级评估体系，并引入了如可控制性评分（$Ctrl(a_{1:T}) = \exp(-\lambda \cdot D_{LPIPS}(\hat{o}_{1:T}, o^*_{1:T}))$）等形式化指标，这在视频生成评估领域具有前瞻性意义。
实验结果
作为一篇综述论文，本文的核心发现是对现有技术格局的系统性分析和判断，而非单一实验结果。在状态构建维度，论文发现隐式状态范式（记忆机制）目前是实现高保真视频合成的最可靠路径，但其'窗口限制'的持久性意味着一旦超出上下文窗口，模型就会'遗忘'。相比之下，显式状态范式（如基于SSM的VideoSSM、RAD、MALT Diffusion等）理论上支持无限时间跨度的全局连续性，但面临'信息衰减'问题——激进的压缩会导致细粒度视觉细节的丢失。论文引用的具体数据表明，当前最先进的视频模型在物理动力学基准Physics-IQ上的得分仅为24%，这揭示了表面视觉逼真度与底层物理动力学建模之间的巨大鸿沟。在持久性评估中，研究显示朴素模型在约600帧后就会出现质量崩溃或身份切换，而专门设计的持久性架构（如StreamingT2V、SANA-Video）可以在分钟级序列（约1800+帧）上保持有竞争力的FVD和一致的场景元素。在因果性维度，论文指出大多数当代视频模型使用双向注意力，这使它们丧失了因果推理能力，但通过因果架构重构（如AR-Diffusion、MAGI-1的异步噪声调度）和因果知识整合（如Owl-1、VLIPP使用VLM作为运动规划器），研究者正在逐步弥合这一差距。World-in-World评估框架的结果表明，视觉质量并不保证功能性效用，具有更高一致性和可预测性的模型往往能实现更高的任务成功率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物理动力学建模 | Physics-IQ Score | 24%（当前SOTA） | 100%（完美物理方差复制） | 存在76%的巨大差距 |
| 长视频持久性 | FVD + 场景一致性 | 1800+帧保持一致 | 600帧后质量崩溃 | 持久性提升3倍 |
| 世界一致性 | World Consistency Score (WCS) | 专门设计的持久性架构 | 朴素视频生成模型 | 无具体数字，但论文强调WCS是评估物理持久性的关键指标 |
| 场景重访 | rFID (reconstruction FID) | 低rFID表示有效检索 | 高rFID表示幻觉新细节 | 用于评估空间记忆检索能力 |
局限与改进
本文作为综述论文，其局限性主要体现在以下几个方面。首先，论文的分析框架虽然系统，但主要聚焦于状态和动力学两个维度，对其他可能影响视频模型作为世界模型的关键因素（如多模态融合、具身交互、安全性）的讨论相对有限。其次，论文承认当前的评估体系仍不完善——现有的基准测试大多是在被动观看条件下设计的，无法充分评估模型在闭环交互中的表现，而World-in-World等闭环评估框架尚处于早期阶段。第三，论文指出显式状态范式虽然理论上具有优势，但'在当前视频生成文献中的实证参考相对较少'，这意味着许多分析是基于理论推断而非充分的实验验证。此外，论文的覆盖范围虽然广泛，但对一些新兴技术（如3D高斯溅射作为状态表示、测试时训练作为参数化状态）的讨论相对简略，这些技术的成熟度和适用性还需要更多验证。最后，论文本身不包含原创实验，所有分析和判断都基于对现有文献的综合，这在一定程度上限制了其结论的可靠性和可验证性。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个弱点和改进方向。第一，隐式状态与显式状态的边界模糊：论文将记忆机制归类为隐式状态，将SSM隐藏状态归类为显式状态，但实际中许多方法处于两者之间（如混合架构Matten同时使用Mamba和注意力机制），这种二分法可能过度简化了技术现实。改进方向是建立一个连续的'状态显式度'光谱，而不是离散的二分。第二，动力学维度的分析深度不足：论文将因果知识整合描述为'导演-渲染器'范式，但对这种范式的理论基础（如为什么VLM的理解能力可以迁移到视频生成）缺乏深入分析。改进方向是引入信息论或因果推断的理论框架来分析知识迁移的机制和边界。第三，评估体系缺乏实操性：论文提出的三级评估体系（质量、持久性、因果性）概念清晰，但缺少具体的评估协议和基准数据集推荐，研究者难以直接采用。改进方向是提供标准化的评估脚本和基准数据集集合。第四，对计算效率的讨论不充分：论文主要关注功能性的状态和动力学，但对实际部署中的计算成本（如推理延迟、内存占用）缺乏定量分析，这对工业界的应用决策至关重要。
未来方向
论文在第7节明确提出了两个关键前沿方向。在持久性维度，对于隐式状态，关键是从简单的启发式记忆策略（如固定长度上下文窗口）转向更先进的数据驱动记忆机制，利用基于注意力的操作动态确定哪些信息对维持长期一致性至关重要；对于显式状态，重点是在计算效率和视觉保真度之间找到平衡，探索保持压缩状态效率的同时不牺牲高保真模拟所需细粒度细节的混合策略。在因果性维度，因果架构重构路径需要探索预训练如何赋予模型稳健的因果推理能力，这要求建立精细的标注方法论来解耦视频数据中的潜在因果因子；因果知识整合路径则需要解决生成组件和理解组件之间的有效对齐问题，向统一的'理解即生成'系统演进。基于论文成果可延伸的方向包括：将世界模型的评估从被动观看扩展到闭环交互，开发标准化的具身任务基准；探索状态表示的可解释性，使模型的内部状态能够被人类理解和验证；以及研究状态和动力学的组合泛化能力，测试模型能否将学到的物理规律迁移到未见过的场景。
复现评估
作为一篇综述论文，本文的可复现性主要体现在其分析框架和分类体系的可验证性上。论文引用了大量开源工作（如Open-Sora、Wan、CogVideoX等），这些工作的代码和模型权重大多公开可用，研究者可以基于论文的分类框架对这些方法进行系统的比较实验。然而，论文本身不包含原创实验代码或数据集，因此不存在传统意义上的'复现'。对于希望基于本文框架开展研究的团队，需要具备以下资源：对主流视频生成模型架构（DiT、U-Net、Mamba等）的深入理解，以及相应的GPU计算资源（通常需要多张A100或H100级别GPU）；对状态空间模型和注意力机制的工程实现能力；以及构建和运行评估基准（如Physics-IQ、MemoryMaze、World-in-World）的基础设施。论文引用的大多数方法都有公开的GitHub仓库，但整合这些方法到统一的评估框架中需要显著的工程投入。总体而言，本文的价值更多在于提供研究方向和理论框架，而非可直接复现的技术方案。
论文图表