← 返回 2026-06-08

两步物理：在视觉细化消除运动先验之前锁定它们 Physics in 2-Steps: Locking Motion Priors Before Visual Refinement Erases Them

Woojung Han, Seil Kang, Youngjun Jun, Min-Hung Chen, Fu-En Yang, Seong Jae Hwang 📅 2026-06-04 👍 16 2026-07-13 08:36

扩散模型测试时优化物理一致性视频生成频谱分析

发现2步推理比50步推理物理一致性更好，提出PhaseLock保留运动先验

前置知识

Diffusion Model（扩散模型）

一类生成模型，通过逐步向数据添加噪声构建前向过程，然后训练神经网络学习逆转这个过程（去噪）。视频扩散模型在latent空间生成多帧数据，通常需要多次迭代（如50步）从纯噪声恢复到清晰视频。每一步去噪都会逐步清除噪声并添加细节，但这个过程中可能丢失早期建立的结构信息。

本文的核心发现就是关于扩散模型去噪过程中物理先验的丢失，理解去噪步数和生成质量的关系是读懂本文的基础。

Phase Spectrum（相位谱）

通过傅里叶变换将信号分解到频率域后，每个频率成分可以表示为幅度和相位。对于视频信号，相位谱phi编码了时空结构信息，包括结构布局和运动轨迹；而幅度谱A捕获低层统计特征如纹理和对比度。自然视频中，连续帧通常有相似的幅度谱，但相位差异反映了帧间运动。

本文的关键洞察是：去噪过程会侵蚀相位信息（从第2步到第50步下降约18%），而幅度基本保持稳定。这解释了为什么早期推理能更好地保持物理一致性。

Physical Consistency（物理一致性）

视频生成模型遵循基本物理定律的程度，包括重力、动量守恒、流体动力学等。例如，物体应该按照重力加速度垂直下落而不是水平移动，液体应该根据阿基米德原理有正确的液位变化。评估物理一致性通常需要专门的基准测试如Physics-IQ，它计算生成轨迹与真实视频之间的运动学偏差。

这是本文要解决的核心问题。现有视频模型虽然视觉质量很高，但经常产生违反物理定律的幻觉运动，本文通过保留早期推理的运动先验来改善这一点。

Image-to-Video (I2V)

一种视频生成任务，给定一张静态图像作为输入（有时还有文本描述），模型需要生成以该图像为第一帧的后续视频帧。与Text-to-Video相比，I2V有更明确的初始场景约束，使得研究物理运动成为可能，因为输入图像固定了初始状态，运动是主要的自由度。

本文选择I2V作为研究场景，因为它提供了控制环境来研究物理失败模式。输入图像提供了比高层文本更接地气的物理线索，但当前I2V模型仍然存在严重的物理幻觉。

研究动机

现有图像到视频（I2V）扩散模型虽然能生成视觉上逼真的内容，但经常产生违反物理定律的运动，例如物体应该垂直下落却反向移动、物体凭空消失等。这些物理幻觉阻碍了可靠世界模拟器的发展。尽管已有工作通过外部物理引擎、大规模模型或数据集来改善物理一致性，但这些方法计算开销大（约5倍时间）或需要人工标注，且仍然产生物理不合理的动态。例如，在Physics-IQ基准上，大型模型如Sora得分仅为10.0，而开源模型如CogVideoX-5B得分为30.8，远未达到理想水平。

本文的目标是本文的具体目标是理解为什么现有模型会产生物理幻觉，并提出一种高效的方法来改善物理一致性。通过分析去噪过程，作者发现早期去噪步骤（如2步）已经建立了物理上合理的运动结构，但在后续视觉细化过程中这些结构被覆盖。目标是设计一种方法，能够从早期推理中提取这些有效的运动先验，并将它们锁定在完整生成过程中，从而在不牺牲视觉保真度的情况下显著提升物理一致性。

与已有工作不同的是，本文的独特切入角度是关注相位侵蚀（phase erosion）这一现象，而不是简单地增加更多外部物理知识。作者通过频谱分析发现，去噪过程主要破坏结构动力学（相位下降约18%）而不是外观能量（幅度仅下降2-3%）。这解释了为什么少步推理能更好地保持物理一致性。与现有方法不同，PhaseLock不需要外部奖励模型、梯度反向传播或昂贵的Best-of-N搜索，而是通过训练自由的Latent Delta Guidance机制，直接在潜在空间约束帧间差异，实现相位对齐。

核心方法

PhaseLock的整体思路分为两个阶段：首先从极少数推理步骤（如2步）中提取运动先验，然后通过Latent Delta Guidance将这个先验注入到完整的高保真生成过程中。直觉上，早期推理步骤捕获了全局结构和运动轨迹，但缺乏纹理细节；标准推理实现了照片级真实感但牺牲了物理完整性。PhaseLock的核心是在这两者之间取得平衡：保留早期步骤建立的物理运动模式，同时允许后期步骤添加视觉细节。理论上，由于潜在delta近似反映帧间相位差异（在平滑运动假设下|F(Delta)|约等于A乘以|phi_f减phi_{f-1}|），约束潜在delta可以隐式地约束相位演化。

核心创新点是Latent Delta Guidance机制，它使用潜在空间中的帧间差异作为相位敏感的运动动力学代理。与直接操作相位谱或注入低频波段不同，PhaseLock在空间域约束潜在delta，避免了高频伪影和空间不连贯。Guidance信号定义为G的k次方等于M_prior减去T(z的k次方)，其中M_prior是从少步推理中提取的运动模板，T是潜在delta操作符，z的k次方是当前中间潜在。这种方法的本质区别在于它不注入外部物理知识，而是保留模型本身在早期推理中已经建立的内部运动先验。

方法步骤详情

方法步骤包括：(1) Motion Prior Extraction：给定高斯噪声初始化z_T服从正态分布，使用极少去噪步骤K_few等于2生成粗略潜在序列z_few等于S(z_T, c, K_few; eta_theta)，其中c是条件信号（文本和参考图像），S是采样过程。然后应用潜在delta操作符提取运动模板M_prior等于T(z_few)等于z_few的第2到F帧减去z_few的第1到F减1帧。(2) Latent Delta Guidance：使用相同的初始噪声进行标准高保真生成（K_full等于50步）。在每个去噪步骤k，计算当前运动动力学M的k次方等于T(z的k次方)和guidance信号G的k次方等于M_prior减去M的k次方。将guidance注入到后续帧中，保持第一帧（锚点）不变：z的k次方的第2到F帧赋值为z的k次方的第2到F帧加上lambda(k)乘以G的k次方，其中lambda(k)是时间依赖的标量，使用线性衰减调度，仅在区间[k_start, k_end)内激活，鼓励在全局布局形成时遵循运动先验，然后逐渐放松约束以允许高保真渲染。

技术新颖性

技术新颖性体现在三个方面：(1) 发现了相位侵蚀现象：通过频谱分析揭示去噪过程主要破坏相位（下降约18%）而不是幅度（仅下降2-3%），相位敏感性实验表明相位破坏导致的光流失真是幅度破坏的8.5倍。(2) 提出了训练自由的Latent Delta Guidance机制：不需要微调预训练权重，通过约束潜在delta隐式地约束相位演化，避免了显式频谱操作的高频伪影。(3) 证明了计算效率与性能的平衡：仅用1.06倍时间开销就达到与需要外部奖励模型的方法（约5倍时间）相当的性能（36.0 vs 36.3 Physics-IQ分数）。

**Figure 1**: Overview of PhaseLock. Few-step inference (T = 2) captures accurate physical motion (following the white arrow) but lacks textural detail, whereas standard inference (T = 50) achieves photorealism but compromises physical integrity with hallucinations. Our method, PhaseLock, extracts the valid motion prior from the few-step inference stage and injects it during the denoising steps, improving physical consistency while largely preserving visual fidelity.

**Figure 2**: Analysis of physical degradation across denoising steps. We compare the baseline models (CogVideoX, Wan 2.1) at few (T = 2) and default (T = 50) inference steps against the GT video.

**Figure 3**: Further analysis on phase properties.

**Figure 4**: The overall pipeline of PhaseLock. Our method operates in two distinct stages.

实验结果

核心发现包括：(1) 少步推理的物理优势：在Physics-IQ基准上，2步推理的物理一致性（34.02）优于50步推理（30.32），尽管视觉质量较低（LPIPS 0.23 vs 0.19）。(2) PhaseLock的显著提升：在Physics-IQ上，CogVideoX-5B提升5.2分（30.8到36.0），LTX-Video提升5.6分（26.4到32.0），Wan 2.1提升7.8分（20.9到28.7），平均提升6.2分。(3) 泛化能力：方法适用于不同架构的模型，包括DiT-based（CogVideoX）和其他开放源模型（LTX-Video, Wan 2.1），甚至在步数蒸馏变体（Wan 2.1 Distilled 4-step）上也有效，提升1.7分。(4) 视觉质量保持：VBench评估显示大多数指标与基线相当，CogVideoX-5B的Image Quality提升2.3%，Aesthetic Quality提升4.7%，仅Wan 2.1的Aesthetic Quality下降5.2%。(5) 人类偏好研究：在物理合理性、视觉质量和提示对齐三个标准上，Ours vs CogVideoX的胜率分别为78.3%、78.9%和60.4%；Ours vs Wan 2.1的胜率分别为83.3%、88.2%和78.5%。

**Table 1**: Comprehensive evaluation on Physics-IQ. We compare our training-free method against state-of-the-art video generation models.

**Table 2**: Comparison of I2V models across PhyGenBench. Images are generated using FLUX-schnell, unless marked with dagger (Gemini-2.5 Flash).

**Table 3**: Quantitative comparison using VBench. Using VBench on the Physics-IQ and PhyGenBench benchmarks, we verify that our approach largely preserves visual fidelity while improving physical consistency.

**Table 4**: Human preference evaluation. Pairwise comparisons against CogVideoX and Wan 2.1.

**Figure 5**: Qualitative results on the Physics-IQ benchmark. We compare the generated videos from the baseline and our method.

**Figure 6**: Comparison of Efficiency and Performance. Note that N denotes the number of generated samples.

**Figure 7**: Ablation studies on hyperparameters. Impact of motion strength and the number of few-step inference steps (Kfast, NFE) on Physics-IQ scores.

查看结构化数据

任务	指标	本文	基线	提升
Physics-IQ物理一致性评估	Physics-IQ分数	36.0 (CogVideoX-5B + PhaseLock)	30.8 (CogVideoX-5B)	+5.2分 (+16.9%)
PhyGenBench物理合理性评估	平均分数（Mech./Optics/Therm./Mat.）	0.57 (CogVideoX + PhaseLock)	0.46 (CogVideoX)	+23.9%
VBench视频质量评估	Image Quality分数	0.680 (CogVideoX-5B + PhaseLock)	0.664 (CogVideoX-5B)	+2.3%
效率与性能权衡	Physics-IQ分数 / 时间开销	36.0 / 1.06x (PhaseLock)	36.3 / 5x (WMReward)	相当性能但4.7倍更高效

局限与改进

作者承认的局限性包括：(1) PhaseLock最适合需要保持连贯帧间运动的场景，对于需要依赖特定外部物理知识的场景，如果少步推理的物理先验本身不准确，这些不准确的先验会传播到最终输出，调整lambda_0无法可靠纠正。(2) 方法不假设少步先验总是正确的，而是通过场景分析来表征不可靠的先验。失败是场景特定的而非全局的：PhaseLock改善了Wan 2.1上74%的Physics-IQ场景和CogVideoX-5B上67%的场景。(3) 方法假设迭代去噪循环，因此不直接适用于自回归视频生成器。我自己观察的局限性：(1) 对于步数蒸馏模型（如Wan 2.1 Distilled），提升较小（仅1.7分），因为它们已经在少步数模式下运行，去噪诱导的相位侵蚀较少。(2) 在某些高精度物理场景（如量子效应、多体复杂相互作用）中可能效果有限，因为早期推理的简单先验可能不足以捕捉复杂物理。(3) 方法主要针对连续帧间运动，对于不连续或突变的物理变化（如碰撞、爆炸）可能需要调整guidance调度策略。

独立分析的弱点

独立分析的弱点：(1) 对于需要精确物理参数的场景（如特定的重力加速度、流体粘度），当前方法没有显式约束这些参数，可能导致物理行为在视觉上合理但数值上不准确。改进方向是结合物理引擎的精确数值约束和PhaseLock的结构保持能力。(2) 在复杂遮挡场景中，潜在delta可能被遮挡区域干扰，导致guidance信号不准确。改进方向是引入遮挡感知的masking机制，仅在可见区域应用guidance。(3) 当前使用线性衰减调度，可能不适合所有场景。改进方向是开发自适应调度机制，根据生成的物理一致性动态调整guidance强度。(4) 对于不同物理领域（力学、光学、热学、磁学），使用相同的guidance参数可能不是最优的。改进方向是领域特定的超参数调优或基于场景的自动参数选择。

未来方向

作者提出的未来方向：(1) 相位感知的训练损失：相位侵蚀可能源于常见MSE风格训练目标的幅度加权行为，这激励了相位感知的训练损失作为训练时的补救措施。(2) 与基于训练的物理方法结合：PhaseLock可以与训练时物理方法结合，以复合它们各自的增益。(3) 自适应guidance机制：根据少步先验的可靠性调整PhaseLock的强度。(4) 扩展到其他模态：粗粒度生成可以保持细化过程中丢失的动态这一观察可能延伸到自回归视频生成器、音频和3D领域。基于成果可延伸的方向：(1) 跨模态应用：将PhaseLock的思想应用于音频生成（保留早期节奏和旋律结构）和3D生成（保留早期几何拓扑）。(2) 层次化guidance：在不同抽象层次（全局运动、局部细节、纹理）应用分层guidance，更精细地控制生成过程。(3) 物理先验验证：开发自动评估少步先验可靠性的机制，在不可靠时回退到标准推理或使用更强的外部约束。(4) 实时应用：由于方法开销小（1.06倍时间），可以集成到实时视频生成系统中，如虚拟现实、游戏和交互式仿真。

复现评估

复现评估：(1) 项目页面：https://dnwjddl.github.io/phaselock，提供代码、数据和实验设置。(2) 实验环境：单个NVIDIA H100 (80GB) GPU，使用官方默认超参数，CogVideoX-5B生成49帧@8fps，Wan 2.1生成81帧@16fps，LTX-Video输出121帧@30fps。(3) 关键超参数：lambda_0等于0.05，k_start等于0，k_end等于K_full除以2，K_few等于2，K_full等于50。(4) 评估基准：Physics-IQ（客观运动学偏差）、PhyGenBench（基于GPT-4o的视觉语言模型评估）、VBench（六维视频质量评估）、人类研究（15名标注者，侧面对比）。(5) 复现难度：中等。方法不涉及复杂的外部依赖或训练，主要是推理时的轻量级张量操作。主要挑战是理解频谱分析的理论基础和正确实现guidance调度。作者提供了详细的消融研究（图7）和理论推导（附录C），有助于复现和理解。