基于潜在世界模型的视频生成模型推理时物理对齐 Inference-time Physics Alignment of Video Generative Models with Latent World Models
利用VJEPA-2世界模型奖励信号在推理时引导视频生成以提升物理真实性
前置知识
潜在世界模型 (Latent World Model)
潜在世界模型是一类在压缩的潜在表示空间中学习状态转移函数的预测模型。它将高维观测（如视频）编码为紧凑的潜在表示，然后在这个潜在空间中预测未来状态。通过在潜在空间而非像素空间中进行预测，这类模型被训练去关注对未来潜在状态有预测性的特征，如运动和物体动力学，同时忽略不相关的外观细节。VJEPA-2是这一类模型的代表，它采用自监督学习的Joint-Embedding-Predictive-Architecture（JEPA）框架，通过预测未被遮挡的视频区域来学习时空特征。
本文的核心创新就是利用潜在世界模型作为奖励信号来评估视频的物理合理性。理解潜在世界模型如何通过预测未来状态来捕捉物理规律，是理解本文方法的关键。
惊喜度分数 (Surprise Score)
惊喜度分数是衡量世界模型预测与实际生成结果之间差异的指标。具体来说，给定上下文帧，世界模型会预测未来帧的潜在表示；然后将这个预测与实际生成的未来帧的潜在表示进行对比。如果生成的视频符合物理规律，那么世界模型的预测应该与生成结果一致，惊喜度较低；反之，如果视频违反物理规律，世界模型的预测就会与生成结果产生较大差异，惊喜度较高。本文使用余弦相似度来度量这种差异，将1减去余弦相似度作为惊喜度分数。
惊喜度分数是本文方法的核心——WMReward奖励函数就是基于VJEPA-2的惊喜度设计的。理解惊喜度如何反映物理合理性，是理解整个方法论的基础。
推理时对齐 (Inference-time Alignment)
推理时对齐是一种在不重新训练预训练模型的情况下，在生成过程中引导模型向期望属性靠拢的技术。与传统的预训练或后训练方法不同，推理时对齐通过修改采样过程或选择最佳候选来提升生成质量。常见方法包括Best-of-N搜索（生成多个候选然后选择最佳）、基于梯度的引导（使用奖励函数的梯度调整采样方向）、以及基于序列蒙特卡洛的方法。
本文将提升视频物理真实性的问题重新定义为推理时对齐问题，这是一个相对未被探索的研究方向。理解推理时对齐的基本原理有助于理解本文在方法论上的创新。
倾斜分布 (Tilted Distribution)
倾斜分布是将原始分布与奖励函数加权后得到的新分布。形式上，如果原始分布为p(x)，奖励函数为r(x)，那么倾斜分布p*(x)正比于w(x)乘以p(x)，其中w(x)是基于奖励构造的权重函数。从倾斜分布中采样意味着更倾向于生成高奖励的样本。在本文中，作者使用指数权重w(x) = exp(λ乘以r(x))来构造倾斜分布，使得采样过程偏向于生成物理更合理的视频。
倾斜分布是连接奖励信号与采样过程的数学框架。理解这个概念有助于理解本文如何将物理合理性奖励转化为实际的采样策略。
研究动机
当前最先进的视频生成模型（如Sora2、MAGI-1等）虽然能够生成视觉上令人满意的内容，但在物理真实性方面存在严重缺陷。具体来说，这些模型生成的视频经常违反基本的物理原理，例如物体穿透、重力异常、动量不守恒等问题。已有研究将这一缺陷归因于预训练阶段的不足——传统的预训练依赖于最小化像素或特征级别的重建误差，这种训练目标并不直接鼓励模型学习物理规律。然而，本文作者发现物理真实性不足的另一个重要原因在于推理策略的次优性。即使是同一个预训练模型，采用不同的采样策略也能显著影响生成视频的物理合理性。这意味着在生成模型已经学到的分布流形中，存在物理更合理的视频，只是当前的采样方法没有找到它们。
本文的目标是本文的具体目标是开发一种推理时对齐方法，利用潜在世界模型的物理先验知识来搜索和引导去噪轨迹，从而在不重新训练视频生成模型的情况下提升生成视频的物理合理性。作者希望这种方法能够适用于多种视频生成范式（自回归生成和扩散生成）、多种生成条件（文本到视频、图像到视频、视频到视频），并且能够随着推理计算量的增加而稳定提升性能。在具体的量化目标上，作者希望在具有挑战性的PhysicsIQ基准测试上超越现有方法的性能。
与已有工作不同的是，本文的独特切入角度在于将物理合理性问题从预训练不足的假设重新框架为推理策略次优的问题。与已有工作不同，作者不是试图在预训练或后训练阶段注入物理信息，而是探索在推理时利用外部奖励模型来搜索生成模型已经学到的流形中物理更合理的样本。此外，与已有的推理时方法（如使用VLM重写提示词或规划运动）不同，本文首次提出使用潜在世界模型作为奖励信号。作者观察到，潜在世界模型由于在潜在空间中进行预测，天然具有对物理规律的理解能力，这使其成为理想的物理合理性评估器。
核心方法
本文的方法可以用一个直观的类比来理解：想象你是一个导演，你的演员（视频生成模型）可以表演各种动作，但有些动作不符合物理规律。现在你请了一位物理学教授（潜在世界模型VJEPA-2）来当顾问。这位教授会观看演员的表演，预测接下来会发生什么，然后对比实际发生的事情。如果预测和实际一致，说明表演符合物理规律；如果不一致，说明表演有问题。基于这位教授的反馈，你可以选择最佳的表演版本，或者指导演员调整表演方向。技术路线上，作者首先将VJEPA-2的预测能力转化为一个可微分的奖励函数（WMReward），然后利用这个奖励函数通过两种机制来提升视频质量：一是Best-of-N搜索，生成多个候选视频后选择物理最合理的；二是梯度引导，在去噪过程中利用奖励函数的梯度来引导采样方向。
本文的核心创新点在于将潜在世界模型的预测能力重新定义为物理合理性奖励。具体来说，VJEPA-2是一个在潜在空间中预测未来状态的世界模型。给定一组上下文帧，VJEPA-2会预测未来帧的潜在表示。如果生成的视频符合物理规律，那么实际生成的未来帧的潜在表示应该与VJEPA-2的预测一致。作者将这种一致性度量（1减去余弦相似度）定义为惊喜度分数，并将其用作奖励信号。与已有的奖励信号（如VideoMAE的重建误差或VLM的二元判断）相比，VJEPA-2的惊喜度分数有三个关键优势：第一，它在潜在空间中操作，能够忽略外观细节而专注于动力学；第二，它利用了VJEPA-2强大的物理理解能力（在物理理解基准测试上达到SOTA）；第三，它是可微分的，允许梯度引导采样。这种设计使得奖励信号能够更准确地反映视频的物理合理性。
方法步骤详情
WMReward方法的完整流程如下：首先，给定一个生成的视频x，使用滑动窗口方法将其划分为重叠的片段。每个片段包含C个上下文帧和M个预测帧。对于每个窗口位置k，VJEPA-2编码器Eθ处理完整窗口得到表示zk = Eθ(x_{k-C+1:k+M})，同时预测器Pϕ基于上下文帧的表示预测未来帧的表示 ẑk = Pϕ(∆m, Eθ(x_{k-C+1:k}))，其中∆m表示未来位置被遮挡。然后，提取未来部分的表示（ẑfut_k和zfut_k），计算余弦相似度，得到奖励r(x) = (1/|K|) Σ_{k∈K} (1 - cos(ẑfut_k, zfut_k))。这个奖励函数衡量的是生成视频的物理一致性。接下来，利用这个奖励函数进行采样优化。作者提出了三种方案：(1) 梯度引导(∇)：利用奖励函数的梯度调整去噪过程的得分函数；(2) Best-of-N搜索(BoN)：生成N个独立样本，选择奖励最高的；(3) ∇+BoN：先用梯度引导生成N个样本，再选择奖励最高的。对于梯度引导，作者使用Tweedie公式近似后验期望，得到修改后的得分函数。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在问题定义上，作者首次将视频生成的物理对齐问题框架化为推理时对齐问题，这与主流的预训练或后训练方法形成鲜明对比。其次，在奖励信号设计上，作者首次提出使用潜在世界模型（而非像素重建模型或VLM）作为物理合理性奖励，这是一个重要的范式转变。第三，在采样策略上，作者提出了∇+BoN的组合策略，将梯度引导与Best-of-N搜索相结合，既利用了梯度引导的逐步优化能力，又利用了BoN搜索的全局探索能力。实验表明，这种组合策略在扩大搜索空间时展现出更强的性能提升趋势。第四，整个方法无需对预训练的视频生成模型进行任何微调，完全在推理时完成物理对齐。
实验结果
本文在多个基准测试和多种视频生成设置上进行了全面实验，结果令人印象深刻。在最具挑战性的PhysicsIQ基准测试上，WMReward方法在视频到视频(V2V)生成中达到了62.0%的最终分数，比之前的SOTA（MAGI-1的55.22%）提升了6.78个百分点。在图像到视频(I2V)生成中，WMReward应用于MAGI-1模型达到了37.39%的分数，提升了7.62个百分点；应用于Sora2模型达到了46.43%的分数，提升了4.13个百分点。在VideoPhy基准测试上，WMReward显著提升了MAGI-1和vLDM的物理一致性分数，分别提升了8.1%和6.9%。人工评估研究进一步验证了这些改进：在物理合理性方面，vLDM和MAGI-1的胜率分别提升了6.2%和14.2%；在视觉质量方面，分别提升了9.4%和14.4%。此外，作者还展示了WMReward与多种基线奖励信号的对比，包括VideoMAE重建误差和Qwen VL系列模型的判断，结果表明VJEPA-2的惊喜度分数是最有效的物理合理性代理指标。值得注意的是，VLM基方法（如Qwen3-VL）的表现接近随机水平，表明VLM在评估物理合理性方面的能力有限。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PhysicsIQ I2V生成 | 最终分数 (%) | 37.39 (MAGI-1), 46.43 (Sora2) | 29.77 (MAGI-1), 42.30 (Sora2) | +7.62 (MAGI-1), +4.13 (Sora2) |
| PhysicsIQ V2V生成 | 最终分数 (%) | 62.64 | 55.22 | +7.42 |
| VideoPhy物理一致性 (MAGI-1) | 平均PC (%) | 33.1 | 25.0 | +8.1 |
| VideoPhy物理一致性 (vLDM) | 平均PC (%) | 34.9 | 28.0 | +6.9 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，作者在附录的失败模式分析中承认，VJEPA-2的惊喜度分数并非专门针对物理合理性设计，它会纠缠其他感知因素。在某些情况下，即使使用了WMReward，视频仍然存在物理问题。具体来说，模型在处理突发物理事件（如液体从瓶中溢出、点燃的火柴引爆气球）时表现不佳，这些事件需要推理突然的状态变化。其次，对于更复杂的物理现象（如镜面反射、虹吸效应），模型也表现出困难，这些现象需要更复杂的推理和对材料属性的理解。第三，WMReward的惊喜度分数不包含文本条件信息，这导致在VideoPhy评估中语义一致性分数有所下降。第四，计算开销方面，梯度引导方法需要额外的梯度反向传播计算，∇+BoN方法的计算时间约为基线的5倍（对于vLDM）或4.96倍（对于MAGI-1），内存开销约为2-4倍。最后，作者指出VJEPA-2的训练数据目前有限，无法覆盖所有物理现象，例如对重量和摩擦等材料属性的理解仍然不足。
独立分析的弱点
基于对论文的深入分析，我认为WMReward方法存在以下几个主要弱点。首先，奖励信号的文本无关性是一个重要限制。VJEPA-2的惊喜度分数完全基于视觉预测，不考虑文本描述的物理场景。这意味着即使视频在物理上是合理的，但如果与文本描述不符，奖励信号也可能给出高分。这在VideoPhy评估中已经体现为语义一致性的下降。改进方向是开发组合式或文本条件的物理合理性奖励，例如将VJEPA-2的惊喜度与文本语义匹配度相结合。其次，早期去噪阶段的奖励评估不可靠。在扩散过程的早期，中间估计的视频样本x_{0|t}是模糊的，导致奖励信号的梯度信息不准确。作者在结论中也提到了这一点。一个可能的改进方向是设计自适应的引导强度调度，在早期阶段减弱引导，随着去噪的进行逐渐增强。第三，WMReward需要多次采样（8-16个粒子）才能达到最佳性能，这显著增加了推理时间。对于实时应用来说，这可能是一个瓶颈。未来可以探索更高效的搜索算法，例如基于重要性采样的自适应粒子分配。
未来方向
作者在结论部分提出了三个改进方向，我在此基础上进一步扩展。首先，提升视频生成模型本身的质量。WMReward的效果受限于生成模型分布流形的质量——如果生成模型根本没有学到某个物理现象，那么再好的奖励信号也找不到合理的样本。开发更强大、更具可搜索性的生成模型是重要方向。其次，提升奖励模型的覆盖范围。虽然VJEPA-2已经展现出强大的物理理解能力，但其训练数据有限，无法覆盖所有物理现象。扩展训练数据的多样性，特别是增加对材料属性（重量、摩擦、弹性等）的学习，可以显著提升奖励信号的可靠性。第三，开发更高效的搜索算法。当前的BoN搜索和梯度引导都存在计算开销较大的问题。可以探索基于强化学习的自适应搜索策略，或者利用中间奖励信号来指导早期的采样方向。第四，开发文本条件的物理合理性奖励，以解决当前方法在语义一致性方面的不足。最后，将WMReward的框架推广到其他领域，如3D生成、机器人模拟等，验证其通用性。
复现评估
从复现评估的角度来看，本文提供了较好的复现条件。作者已经在GitHub上开源了代码（https://github.com/facebookresearch/WMReward），这大大降低了复现门槛。在算力需求方面，vLDM模型可以在单张H200 GPU上运行，而MAGI-1需要8张H200 GPU并行推理。对于BoN搜索（N=16），vLDM的推理时间约为基线的16倍（约28分钟），MAGI-1约为基线的16倍（约71分钟）。梯度引导方法的内存开销约为基线的2-4倍。数据方面，PhysicsIQ和VideoPhy基准测试都是公开可用的。VJEPA-2模型也是公开可用的。总体来说，对于拥有足够算力（至少1张H200 GPU）的研究者来说，复现本文的核心结果是可行的。但要完整复现所有实验（包括多个模型、多个设置、大规模人工评估），需要显著的计算资源和人力投入。
论文图表
