视频生成离世界模型还有多远？基于因果认知视角的评估 YoCausal: How Far is Video Generation from World Model? A Causality Perspective
YoCausal评估视频扩散模型的因果理解，发现时间箭头感知不等同于因果认知
前置知识
扩散模型
扩散模型是一类生成模型，通过学习逐步添加噪声的正向过程及其反向去噪过程来生成数据。在训练时，模型学习从高斯噪声中恢复原始数据；推理时，从噪声开始逐步去噪，最终得到生成样本。其损失函数通常为均方误差，通过变分推断理论可近似为负对数似然上界。
这是理解论文中使用去噪损失作为概率代理的理论基础，因为论文的核心指标RSI和CCI都依赖于去噪损失的计算。
因果推理
因果推理是理解事件间因果机制的能力，即事件A导致事件B的必然联系。在本文中，作者关注的是可直观观察到的因果链条，而非严格的结构因果模型或形式化干预。因果推理对于构建世界模型至关重要，因为世界模型不仅要能正确渲染视觉现象，还要理解事件为何如此发展。
这是论文研究的核心能力，作者提出的YoCausal基准正是为了评估视频扩散模型是否具备这种因果理解能力。
违反预期范式
违反预期范式来自认知科学，通过观察个体对反事实刺激的惊讶反应来评估其是否形成了相应的认知模型。在婴儿研究中，当婴儿看到违背物理预期的视频时表现出惊讶，说明他们已经形成了对物理世界的认知。
这是YoCausal设计的理论基础，作者将这一范式迁移到生成模型上，用去噪损失替代惊讶反应，用时间反转视频替代反事实刺激。
时间箭头
时间箭头指时间固有的方向性，即某些过程在正向和反向播放时会产生不同的视觉和语义效果。例如，杯子摔碎的过程在反向播放时看起来很异常，因为碎片不会自动聚合成杯子。
这是理解RSI指标的关键，作者发现感知时间箭头和理解因果是两个不同的能力，论文的创新之一就是将这两者解耦开来。
研究动机
现有的视频生成模型在真实世界数据上训练后，能够生成高度逼真的视频，但它们是否真正理解因果关系仍然是一个开放问题。现有的大多数基准测试依赖于合成数据或受控实验室录制，由于模拟到现实的差距，限制了其在真实世界场景中的泛化能力。例如，PhyWorld基准虽然包含300万个视频，但仅来自70个合成场景；Physics IQ包含396个视频但来自132个受控录制场景。此外，这些基准主要关注物理定律的遵守，而非更广泛的因果认知，且无法区分模型是仅感知了时间箭头的统计模式，还是真正理解了因果关系。实验显示，一些模型在时间感知上表现优异（如LTX-Video-2B在整体数据集上RSI达58.86%），但在因果推理上却得分很低甚至为负（CCI为-0.20%），这暴露了现有评估方法的局限性。
本文的目标是本文的具体目标是创建一个基于真实世界视频的、可无限扩展的基准测试，用于评估视频扩散模型的因果认知能力。通过引入双层级指标，分别量化模型对时间箭头的感知（通过RSI）和真正的因果推理（通过CCI），作者希望揭示当前模型在因果理解方面的缺陷，并为未来模型的改进提供指导。作者收集了来自四个不同领域的1232个真实世界视频，包括日常生活事件（500个）、物理现象（132个）、人类动作（400个）和动物行为（200个），涵盖了广泛的场景多样性。最终目标是回答一个核心问题：当前的视频扩散模型是否真正理解因果关系，还是仅仅过拟合到了统计性的时间模式？作者希望通过这一基准推动社区将因果认知作为一个独立的目标来优化，而不仅仅是提升视觉质量和物理准确性。
与已有工作不同的是，本文的独特切入角度是将认知科学中的违反预期范式迁移到视频生成模型上，利用时间反转的真实世界视频作为自然反事实样本，从而避免了合成数据的局限性。与现有工作如LikePhys和PhyWorld相比，YoCausal可以零成本地利用任何真实世界视频，只需要将其时间反转即可生成反事实对，这使得基准可以无限扩展且不受固定合成场景或受控录制的限制。更重要的是，作者提出了双层级评估框架：第一层RSI衡量模型对时间箭头的感知，第二层CCI通过将数据集划分为因果和非因果子集（使用VLM自动划分），解耦了真正的因果推理与统计时间偏差。这种设计使得作者能够首次区分模型是仅仅感知了时间的方向性，还是真正理解了因果关系。实验显示，LTX-Video系列在RSI上排名靠前（LTX-Video-2B达58.86%），但在CCI上得分为负（LTX-Video-13B为-4.32%），证实了双层级框架的有效性，这是现有基准未能实现的。
核心方法
YoCausal的整体思路是利用真实世界视频的时间反转作为反事实样本，通过比较模型对正向和反向视频的去噪损失来评估其因果认知。该方法基于一个简单的直觉：如果一个视频扩散模型真正理解了因果关系，那么它应该认为正向的视频比反向的视频更合理，因为反向的视频违反了因果逻辑。具体而言，作者使用了去噪损失作为概率的代理，根据变分推断理论，去噪损失Ldenoise(θ; xt) = Et∼U(1,T), ϵ∼N(0,I) ∥ϵ −ϵθ(xt, t)∥22是负对数似然的上界。因此，较高的去噪损失意味着模型认为该视频的概率较低，即更加惊讶。作者将认知科学中的违反预期范式迁移到生成模型上：婴儿看到违背预期的视频会表现出惊讶，生成模型对违背预期的视频会分配较高的去噪损失。这种方法分为两个层次：第一层计算反向惊讶指数，衡量模型对时间箭头的感知；第二层通过因果认知指数，将数据集划分为因果和非因果子集，解耦真正的因果推理与统计时间偏差。
核心创新点在于零成本地利用真实世界视频的时间反转作为自然反事实样本，并通过视觉语言模型将数据集自动划分为因果和非因果子集，从而将真正的因果推理与时间箭头的统计感知解耦。与依赖合成数据的现有基准不同，YoCausal能够涵盖多样化的真实世界场景，且无需手动标注，实现了可扩展性。作者使用Gemini 3.0 Pro作为VLM judge，通过精心设计的prompt询问视频是否包含明显的因果交互，实验表明VLM标注与人类标注高度一致（Kendall τ=0.7613，F1-score=82.76%）。更巧妙的是，作者发现反转非因果视频（如汽车巡航）只引入一种异常（反向时间箭头），而反转因果视频（如锤子打碎花瓶）则引入两种异常（反向时间箭头和反向因果）。因此，CCI = RSI(Dc) − RSI(Dnc)能够解耦模型对因果的敏感性和对统计时间模式的敏感性，这是本文最核心的技术贡献。
方法步骤详情
方法步骤分为四个阶段。首先，数据集构建阶段：从四个现有数据集中选择视频，构建包含不同主题子集的数据集D = {DGeneral, DPhysics, DHuman, DAnimal}，分别来自Moments in Time（500个视频）、Physics IQ（132个视频）、Kinetics-400（400个视频）和Animal Kingdom（200个视频），总计1232个视频。其次，时间反转阶段：对每个视频进行时间反转，生成正向版本xf和反向版本xr。第三，去噪损失计算阶段：对每个版本，从[1, T]区间均匀采样K=10个时间步，在每个时间步采样Nϵ=1个高斯噪声ϵ ∼ N(0, I)，对正向和反向版本应用相同的噪声，计算去噪损失L(θ; xf)和L(θ; xr)，然后对所有时间步和噪声样本平均。第四，指标计算阶段：第一层RSI(D) = (1/|D|) ∑Dx 1[L(θ; xr) > L(θ; xf)]，衡量模型正确识别时间方向的比例；第二层首先使用VLM将D划分为因果子集Dc和非因果子集Dnc，然后计算CCI(D) = RSI(Dc) − RSI(Dnc)，衡量模型对因果的敏感性超过对时间统计模式的敏感性的程度。整个流程可以无限扩展，因为任何新的真实世界视频都可以零成本地加入基准。
技术新颖性
技术新颖性体现在多个方面。首先，这是第一个专门评估视频扩散模型因果认知的基准，填补了现有工作只关注物理定律遵守的空白。其次，作者将认知科学的违反预期范式创造性地迁移到生成模型评估，用去噪损失替代惊讶反应，用时间反转视频替代反事实刺激，这种优雅的类比使得评估可以在真实世界视频上进行。第三，双层级指标设计解耦了因果推理和时间统计模式，这是现有基准未能实现的，实验证实了这种解耦的有效性（LTX-Video系列在RSI上优秀但CCI为负）。第四，使用VLM进行因果/非因果划分避免了人工标注，实现了基准的可扩展性，且敏感性分析表明不同VLM（Gemini 3.0 Pro、GPT-4o、Qwen 3.5 9B）产生的划分高度一致（Kendall τ > 0.66）。第五，熵控制分析表明RSI反映的是事件级时间结构而非低级熵动态（光流幅度对称子集的RSI与全数据集高度一致），进一步验证了指标的鲁棒性。这些创新使得YoCausal成为首个可扩展、真实世界、且能区分因果推理和时间感知的视频生成评估基准。
实验结果
评估13个最先进的视频扩散模型后，作者发现了四个关键发现。第一，虽然一些模型能够感知时间箭头并表现出初步的因果认知，但与人类上界相比仍存在显著差距。人类在整体数据集上的RSI为79.08%，而表现最好的模型LTX-Video-2b-0.9.6仅为58.86%，差距约20个百分点。在因果认知方面，人类CCI为8.67%，Wan2.1-T2V-14B为5.91%，差距约2.76个百分点。第二，感知时间箭头并不等同于理解因果。LTX-Video系列在RSI上排名靠前（LTX-Video-2B为58.86%，LTX-Video-13B为56.48%），但在CCI上得分为负（LTX-Video-2B为-0.20%，LTX-Video-13B为-4.32%），证实了双层级框架成功解耦了两种能力。相反，Wan2.1-T2V-14B在RSI上为53.24%（排名第六），但在CCI上为5.91%（排名第一），显示出更强的因果理解。第三，因果认知与直观物理相关但不能简化为物理理解。与LikePhys基准的Kendall相关系数为0.5111（p=0.0466），表明物理定律约束物体交互从而影响因果性，但中等幅度说明因果认知不仅仅是物理直觉。第四，因果认知与审美质量零相关（τ=0.0000），但与发布日期（τ=0.5958，p=0.0316）和参数数量（τ=0.6880，p=0.0093）强相关，表明缩放定律和架构演化扩展到因果认知这一更高阶的推理能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 时间箭头感知 | RSI | LTX-Video-2b-0.9.6: 58.86% | 人类: 79.08% | 差距约20.22个百分点 |
| 因果推理 | CCI | Wan2.1-T2V-14B: 5.91% | 人类: 8.67% | 差距约2.76个百分点 |
| 人类偏好相关性 | Kendall's τ | 0.3333 | 无 | 中等相关性，验证了基准的有效性 |
| 直观物理相关性 | Kendall's τ | 0.5111 | 无 | 中等相关性，因果认知相关但不等同于物理理解 |
| 参数量相关性 | Kendall's τ | 0.6880 | 无 | 强相关性，支持缩放定律 |
局限与改进
作者承认了几个局限性。首先，方法在时间对称事件上效果不佳，例如牛顿摆的正反向视频视觉上几乎相同，导致RSI失效，因为模型无法从视觉上区分哪个方向是正向的。其次，计算去噪损失需要访问模型权重，限制了对外部闭源模型的评估，不过开发者仍然可以内部使用YoCausal来诊断和改进因果认知。第三，VLM无法识别隐式因果关系，例如视觉上微妙的因果链（如轻微温度变化导致冷凝）或完全不可感知的心理状态因果（如情绪导致行为），虽然作者论证了主流应用（机器人操作、游戏引擎、自动驾驶）都涉及显式因果。第四，基准的数据集规模受限于计算资源，只评估了1232个视频，未来研究者可以扩展规模和领域。此外，作者指出虽然物理理解和模型缩放可能部分改善因果感知，但希望社区将因果认知作为独立目标来优化。最后，RSI和CCI都是相对指标，需要联合解释，高RSI但低CCI说明模型只感知统计时间箭头，高CCI但低RSI则CCI不可靠。
独立分析的弱点
从独立分析的角度看，YoCausal存在几个可改进的弱点。首先，虽然作者通过熵控制分析验证了RSI的鲁棒性，但在某些特定场景下，模型可能仍然利用低级视觉线索而非高级因果推理。例如，反向视频可能在某些像素级别表现出不同的统计特性（如高频噪声分布），模型可能学习到这些模式而非真正的因果关系。改进方向包括开发更精细的控制实验，例如保持低级视觉特性不变的情况下反转因果逻辑。其次，VLM划分可能存在偏见，虽然作者测试了三个不同VLM并发现高度一致，但所有VLM可能在某些类型因果上表现不佳（如复杂的多步因果链）。改进方向包括集成多个VLM的投票或引入人类验证子集来校准VLM判断。第三，基准主要关注二元因果判断（存在/不存在），忽略了因果的复杂性和多样性，如因果强度、因果时延、多原因多结果等。改进方向包括扩展基准以评估这些更细粒度的因果维度。第四，基准使用固定的视频长度和帧率，可能不适合评估长程因果推理，如需要几分钟才能显现的因果效果。改进方向包括引入不同时间尺度的视频来评估模型的长期因果理解。
未来方向
未来研究方向包括多个方面。首先，扩展基准以涵盖更多领域，作者建议纳入工具使用、烹饪或体育运动等新领域，以保持基准与模型能力同步发展。目前数据集的1232个视频主要来自日常生活、物理、人类动作和动物行为，增加领域多样性将更全面地评估因果认知的泛化能力。其次，探索隐式因果关系的评估方法，例如通过更复杂的视觉语言模型（如多模态大语言模型）或引入人类标注来识别隐式因果。虽然作者论证了主流应用涉及显式因果，但隐式因果对于某些高级应用（如社交互动、情感理解）可能很重要。第三，研究如何将因果认知作为独立的优化目标融入模型训练中，例如设计因果正则化损失或因果数据增强策略，而不仅仅是提升视觉质量和物理准确性。作者提到近期工作如PISA experiments探索了通过观看物体掉落来后训练物理知识，类似的思路可以扩展到因果认知。第四，开发适用于闭源模型的评估方法，例如通过生成对抗样本或黑盒探测技术，使得YoCausal可以评估商业模型如Sora。第五，研究因果认知与其他能力（如规划、推理、交互）的关系，以全面理解世界模型所需的认知组件。最后，随着模型能力提升，基准需要持续演化，例如引入更复杂的因果场景（如多智能体交互、工具使用、物理实验设计）来避免基准被突破。
复现评估
复现评估方面，论文提供了详细的模型设置、预处理管道和算法伪代码，使得研究者能够复现实验。作者在附录A.2中列出了所有13个模型的详细配置，包括参数量、空间压缩比、时间压缩比、帧窗口大小、帧率和默认分辨率。例如，Wan2.2-A14B有14B参数，空间压缩8倍，时间压缩4倍，帧窗口81，FPS 16，分辨率1280×720。预处理管道在附录A.3中详细描述，包括分辨率适应、FPS重采样和长视频处理三个阶段。算法1提供了完整的YoCausal评估伪代码，涵盖四个阶段：去噪损失计算、RSI计算、VLM因果分层和CCI计算。数据集来源明确，包括四个公开数据集，且基准可无限扩展。然而，评估需要大量计算资源，因为需要计算13个大型视频扩散模型（最大14B参数）在1232个视频上的去噪损失，每个视频采样10个时间步和1个噪声样本。作者提到由于计算资源限制，他们只评估了数千个视频，未来研究者有更多资源可以扩展规模。此外，闭源模型无法直接评估，但开发者可以内部使用YoCausal进行诊断和改进。总体而言，复现难度中等，主要受限于计算资源，但所有必要的技术细节都已提供。
论文图表
该图概述了YoCausal基准的概念框架，左侧展示了认知科学中经典的违反预期实验：婴儿观看正向视频时表现出期待，观看反向视频时表现出惊讶。右侧将这一范式迁移到生成模型上：将模型学习的数据分布视为其认知，一个具备因果意识的视频扩散模型应该对反向反事实视频xr分配较低的概率（较高的去噪损失Lr），而对正向视频xf分配较高的概率（较低的去噪损失Lf）。这种优雅的类比使得作者可以利用时间反转的真实世界视频来评估模型的因果理解。
这张图是理解整个基准设计思路的关键，展示了从认知科学到生成模型评估的理论基础，以及用去噪损失替代惊讶反应、用时间反转视频替代反事实刺激的核心思想。
该图包含两个子图验证VLM划分的可靠性。图(a)展示了因果和非因果子集的光流幅度分布，使用RAFT算法计算，两个分布之间的效应量可忽略不计（Cohen's d=0.057 < 0.2），证实VLM从高级语义而非低级运动线索推断因果关系，否则两个分布应该有明显差异。图(b)左侧展示了VLM划分和人类划分产生的CCI排名对比，Kendall相关系数τ=0.7613；右侧是混淆矩阵，VLM与人类标注的F1分数为82.76%。这两个分析从互补角度支持了VLM标注作为人类判断可靠代理的有效性。
这张图验证了VLM划分的两个关键方面：语义推理而非低级线索利用、与人类判断的高度一致性，是支持CCI指标有效性的核心证据。
该图展示了因果认知的聚合排名，通过将每个模型在RSI和CCI上的排名相加得到综合因果得分（越低越好）。平局通过RSI排名解决，因为RSI是因果认知的前提基础。排名结果显示，Wan2.1-T2V-14B排名第一（RSI排名6 + CCI排名1 = 7），Wan2.2-T2V-A14B排名第二（RSI排名3 + CCI排名2 = 5），CogVideoX-5B排名第三。人类排名第一。这种聚合排名提供了每个模型因果认知能力的整体视图，作为后续跨指标分析（如与人类偏好、直观物理、参数量的相关性分析）的定量基础。
这张图提供了一个直观的整体排名，便于比较模型的综合因果认知能力，是论文实验结果的总结性展示。
该图比较了原始数据集和运动幅度对称子集（30%光流幅度轨迹最对称的视频）上的RSI结果。蓝色柱状图表示原始数据集上的RSI，橙色柱状图表示运动对称子集上的RSI，两者高度一致。例如，LTX-Video-2B在原始数据集上为58.86%，在对称子集上为56.92%；Wan2.1-T2V-14B分别为53.24%和52.17%；大多数模型在对称子集上仍然超过50%基线。这表明RSI反映的是事件级时间结构而非低级熵动力学，因为如果模型仅利用运动幅度等低级线索，两个子集的结果应该有显著差异。由于CCI是通过RSI定义的，这种熵不变性也传播到因果认知测量中，支持了YoCausal评估的有效性。
这张图通过熵控制分析进一步验证了RSI指标的鲁棒性，排除了模型可能利用低级熵动态（如运动幅度）的担忧，是支持论文方法论的重要证据。