自改进视频采样：基于预测-扰动的无训练推理时优化方法 Self-Refining Video Sampling
利用预训练视频生成器作为自改进器，通过预测-扰动循环提升视频物理真实性和运动连贯性
前置知识
Flow Matching
一种生成模型训练框架，通过学习一个时间依赖的向量场 $u_\theta(z_t, t)$ 将先验分布 $p_0 = \mathcal{N}(0, I)$ 的样本转换为目标数据分布 $p_1$。训练时构造从噪声 $z_0$ 到数据 $z_1$ 的直线路径 $z_t = (1-t)z_0 + tz_1$，目标向量场为 $v_t = z_1 - z_0$。在视频生成中，RGB视频 $x \in \mathbb{R}^{F \times H \times W \times 3}$ 首先通过VAE编码为压缩隐空间 $z \in \mathbb{R}^{f \times h \times w \times c}$，再在隐空间上进行flow matching训练。
本文方法建立在flow matching框架之上，将其重新解释为去噪自编码器(DAE)，这是理解P&P方法的理论基础
去噪自编码器
一种神经网络架构，首先对干净数据施加噪声进行损坏，然后学习从损坏数据重构原始数据。训练目标是最小化重构误差。通过反复的损坏-重构循环，DAE能够学习数据的内在结构和分布特性。在本文中，flow matching被重新解释为时间条件的DAE，这为在推理时进行自改进提供了理论依据。
本文将flow matching重新解释为时间条件的DAE，这为在推理时进行自改进提供了理论依据，是P&P方法的核心创新点
Classifier-Free Guidance
一种在扩散和flow matching模型推理时常用的引导技术，通过同时计算条件预测和无条件预测，按引导尺度进行线性组合来增强生成质量。但过高的引导尺度会导致过饱和伪影，特别是在静态区域中指导信号会累积。本文的不确定性感知P&P策略正是为了解决多次P&P迭代时CFG累积导致的过饱和问题而设计的。
本文的不确定性感知P&P策略正是为了解决多次P&P迭代时CFG累积导致的过饱和问题而设计的
伪Gibbs采样
一种马尔可夫链蒙特卡洛采样方法，通过交替进行条件采样来逼近目标分布。在本文中，被用于在固定噪声水平下交替进行重构(预测)和损坏(扰动)操作，类似于广义去噪自编码器的过程。每次迭代包含预测和扰动两个步骤，通过这种迭代循环将视频隐变量拉向数据流形的高密度区域。
P&P方法本质上是一种伪Gibbs采样，每次迭代包含预测和扰动两个步骤，通过这种迭代循环将视频隐变量拉向数据流形的高密度区域
跨帧一致性
视频特有的属性，相邻帧之间共享强相关的布局和运动轨迹。这使得视频相比图像对扰动更加鲁棒：多次P&P更新只会导致时间结构上的受控变化，而不会像图像那样产生大的语义转变。这是视频领域P&P方法能够有效工作的关键原因。
这是视频领域P&P方法能够有效工作的关键原因，解释了为什么迭代改进在视频上表现为时间模式寻找而非多样性崩溃
研究动机
当前最先进的视频生成模型，尽管在大规模数据集上训练并展现出作为世界模型的潜力，仍然难以准确建模复杂的物理动态。具体表现为：体操运动员的手臂出现重复、姿势物理上不合理；机器人抓取视频中物体穿透、抓取失败；沙子突然出现在孩子手中而无因果交互。这些问题严重影响了视频生成在机器人操作等实际应用中的可靠性。现有解决方案包括使用外部验证器的拒绝采样（接受率低、需要大量生成）和后训练策略（需要高质量领域特定数据和大量计算），但这些方法计算成本高昂且难以捕获细粒度运动动态。
本文的目标是本文的目标是开发一种简单、无需额外训练且无需外部验证器的方法，能够在推理时利用预训练视频生成器自身的信号来提升生成视频的物理真实性和运动连贯性。具体目标包括：改善运动连贯性，使复杂动态动作（如体操、杂技）能够正确生成；提升物理对齐性，使生成的视频符合物理常识；增强空间一致性，使相机重新访问之前视角时保持视觉一致性；将计算开销控制在合理范围内（约1.5倍NFE）。
与已有工作不同的是，本文的独特切入角度在于重新审视了flow matching目标与去噪自编码器之间的联系。与现有方法不同，本文不是引入外部模型或额外训练，而是将视频生成器本身视为自改进器。关键洞察是：在固定噪声水平下，flow matching模型的去噪操作本质上等同于DAE的重构步骤，而通过交替进行重构和损坏（预测-扰动），可以在同一时间步内迭代地将隐变量拉向数据流形的高密度区域。此外，本文观察到模型自身的预测一致性可以作为不确定性信号，用于识别需要改进的区域，从而避免过度改进导致的伪影。这种自我批评、自我修正的能力是LLM已经具备但视频生成器缺乏的。
核心方法
本文方法的核心直觉是：如果我们将预训练的flow matching视频生成器理解为一个时间条件的去噪自编码器，那么在推理时可以在每个时间步内进行重构-损坏循环来改进生成质量。具体来说，对于噪声隐变量 $z_t$，模型首先通过预测步骤得到一个干净的估计 $\hat{z}_1$，然后通过扰动步骤将其重新加噪到同一噪声水平 $t$ 得到新的 $z_t'$，这个新的 $z_t'$ 比原始 $z_t$ 更接近数据流形。通过2-3次这样的预测-扰动迭代，视频隐变量被逐步拉向物理上更合理、时间上更连贯的区域。整个过程无需任何额外训练或外部模型，仅使用生成器自身的信号。
本文的核心创新有两个层面。第一个是Predict-and-Perturb (P&P) 采样方法：不同于LLM可以直接重新输入输出token并修订，视频生成器缺乏显式的内部反馈信号。P&P通过将flow matching重新解释为DAE，发现可以在固定噪声水平下进行伪Gibbs采样来实现自改进。具体地，在时间步 $t$，重构算子 $D_\theta(z_t, t) = z_t + (1-t) u_\theta(z_t, t)$ 给出干净预测，而损坏算子 $R_\epsilon(z, t) = tz + (1-t)\epsilon$ 将其扰动回同一噪声水平。第二个创新是不确定性感知P&P：观察到多次P&P迭代配合CFG会导致静态区域过饱和，本文利用模型预测的自一致性来构建不确定性掩码，仅在不确定性高的区域（通常是运动物体）进行改进，而保持静态区域不变。
方法步骤详情
方法分为以下几个具体步骤：初始化时从先验分布采样初始噪声 $z_{t_0} \sim \mathcal{N}(0, I)$。外层循环对每个推理时间步 $t_i$（$i = 0$ 到 $T-1$），执行基础ODE求解得到下一步隐变量。运动阶段判断：若 $i \leq \alpha T$（$\alpha$ 为P&P间隔率，通常为0.03-0.05），进入内层P&P循环。预测步骤计算干净预测 $\hat{z}_1 = D_\theta(z_{t_i}, t_i)$。扰动-预测循环对 $k = 1$ 到 $K_f$（通常为2-3），先扰动 $z_{t_i}^{(k)} = R_\epsilon(\hat{z}_1^{(k-1)}, t_i)$，再预测 $\hat{z}_1^{(k)} = D_\theta(z_{t_i}^{(k)}, t_i)$。不确定性掩码计算通过比较相邻迭代预测的L1距离，阈值化得到掩码。选择性更新通过掩码混合新旧预测。最终输出精炼后的隐变量 $z_{t_T}$。
技术新颖性
本文的技术新颖性体现在以下几个方面：理论贡献上首次建立了flow matching目标与广义去噪自编码器之间的明确联系，证明了flow matching训练的模型可以在推理时作为DAE使用，无需任何额外训练。方法创新上Predict-and-Perturb是一种全新的推理时自改进范式，不同于现有的基于梯度的引导方法（如FlowMo需要额外计算开销）或基于外部验证器的拒绝采样（需要多次完整生成），P&P在同一采样轨迹内进行局部搜索，计算效率更高。不确定性感知机制利用模型自身的预测一致性作为不确定性信号，无需额外的神经网络评估或多次前向传播，这与传统的基于方差的不确定性估计方法相比计算成本几乎为零。视频特有的设计发现并利用了视频的跨帧一致性特性，使得P&P在视频上表现为时间模式寻找而非多样性崩溃。即插即用特性使得P&P可以无缝集成到现有的ODE求解器中，只需替换隐变量即可。
实验结果
本文在多个基准测试和视频生成模型上进行了广泛实验，取得了显著改进。在Wan2.2-A14B T2V上的Dynamic-bench人类评估中，73.57%的评估者偏好本文方法生成的运动质量（相比默认采样器），70%偏好本文方法（相比FlowMo）。在物理对齐性评估VideoPhy2上，84.29%偏好本文方法（相比默认采样器），74.76%偏好（相比双倍NFE基线）。在机器人领域的PAI-Bench评估中，本文方法将抓取成功率从79.2%提升至89.6%（Cosmos-2.5-2B）和从77.3%提升至85.7%（Wan2.2 I2V），超越了需要4倍计算成本的拒绝采样方法（84.4%和80.5%）。在空间一致性评估中，SSIM从0.401提升至0.485，L1距离从37.26降至30.16，PSNR从14.96dB提升至17.21dB。在视觉推理任务（图遍历）中，成功率从0.1戏剧性地提升至0.8。VBench自动评估指标也显示运动得分从98.01提升至98.41，一致性从90.68提升至91.33。所有改进仅需约1.5倍的NFE计算开销。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 运动连贯性（Dynamic-bench） | 人类偏好率 | 73.57% | 默认ODE采样器 | 相比默认采样器提升73.57%，相比FlowMo提升70% |
| 运动连贯性（Dynamic-bench） | VBench Motion得分 | 98.41 | 98.01 | +0.40 |
| 运动连贯性（Dynamic-bench） | VBench Const.得分 | 91.33 | 90.68 | +0.65 |
| 机器人抓取（PAI-Bench Cosmos） | 抓取成功率 | 89.6% | 79.2% / 84.4% (验证器) | +10.4% / +5.2% |
| 机器人抓取（PAI-Bench Wan） | 抓取成功率 | 85.7% | 77.3% / 80.5% (验证器) | +8.4% / +5.2% |
| 物理对齐（VideoPhy2） | 人类物理常识偏好 | 84.29% | 默认ODE采样器 | 84.29%偏好率 |
| 物理对齐（VideoPhy2） | Gemini3 PC得分 | 55.6 | 54.5 | +1.1 |
| 物理对齐（PhyWorldBench） | Gemini3 PC得分 | 40.0 | 29.3 | +10.7 |
| 空间一致性 | SSIM | 0.485 | 0.401 | +0.084 |
| 空间一致性 | PSNR (dB) | 17.21 | 14.96 | +2.25 dB |
| 视觉推理（图遍历） | 成功率 | 0.8 | 0.1 | +0.7 |
局限与改进
本文作者在论文末尾讨论了几个局限性：过度改进风险方面，虽然不确定性阈值 $\tau$ 有助于防止过度改进，但保守的设置会削弱改进效果或需要更多P&P迭代，如何在改进强度和多样性之间找到更好的平衡仍是未来工作。局部搜索特性方面，P&P本质上是局部搜索过程，对于迷宫求解等需要全局规划和路径级决策的任务，改进效果有限（成功率仍接近零），这类任务可能需要外部验证器或全局搜索机制。推理时间开销方面，默认设置下增加约40%的推理时间，虽然通过减少基础ODE步数可以部分缓解，但在效率和性能之间的权衡仍需进一步优化。超参数敏感性方面，P&P计划、置信度阈值和间隔率需要根据任务和模型进行调整，缺乏自适应机制。此外，对于需要离散或语义正确性的任务改进效果有限；图像生成领域P&P的改进效果不如视频显著；不确定性图会随推理进程逐渐减小，暗示可能存在自适应阈值的优化空间。
独立分析的弱点
基于对论文的独立分析，我识别出以下几个弱点：超参数调优复杂性方面，论文中承认P&P计划需要根据任务和模型调整，不同场景使用不同的超参数设置，缺乏自动调优机制，实际应用中可能需要大量实验来找到最优配置。改进方向是开发自适应P&P策略，基于不确定性图的统计特性自动调整参数。对基础模型能力的依赖方面，P&P只能在基础模型知道正确答案但未完美生成时有效，对于基础模型完全失败的情况无法纠正。改进方向是结合外部知识源或验证器，在检测到基础模型完全失败时切换策略。不确定性估计的粗糙性方面，当前使用L1距离阈值化来获取二值掩码，可能丢失了细粒度的不确定性信息。改进方向是探索软掩码或连续权重。计算效率优化空间方面，当前P&P在前几个推理步进行，但这些步的计算开销最大。改进方向是探索选择性P&P步数减少或利用蒸馏的小模型作为快速自改进器。缺乏理论收敛保证方面，虽然实验效果显著，但P&P的收敛性和最优性缺乏严格的理论分析。
未来方向
论文作者提出了几个未来研究方向：自适应细化策略方面，观察到不确定性随推理进程减小，可以开发时间依赖的自适应阈值而不是使用固定阈值。细化模型选择方面，虽然本文使用同一模型进行自改进，但未来可以探索使用不同的生成模型或专门微调的细化模型。随机性控制方面，增加细化迭代次数虽然提高改进机会，但仍依赖随机噪声，需要开发更有效的方式来控制或利用这种随机性。推理时间优化方面，探索在匹配总NFE的情况下通过减少基础ODE步数来平衡效率和性能。全局搜索结合方面，对于需要全局规划的任务，可以将P&P与全局搜索策略或外部验证器结合。基于本文成果，延伸方向包括将P&P扩展到视频编辑和修复任务，开发基于P&P的交互式视频生成，将不确定性感知机制应用于其他生成任务，研究P&P对视频生成模型可解释性的影响，以及探索P&P在多模态条件生成中的应用。
复现评估
本文在可复现性方面提供了较好的支持：代码可用性方面，论文提供了详细的算法流程和Python代码实现，核心方法的实现相当清晰。开源模型方面，使用的所有基础模型（Wan2.1、Wan2.2、Cosmos-Predict-2.5）都是开源的，可以在公开渠道获取。基准数据集方面，使用了多个公开基准（Dynamic-bench、VideoJAM-bench、VideoPhy2、PhyWorldBench、PAI-Bench、PisaBench），评估协议明确。硬件要求方面，所有实验在单张NVIDIA H100 80GB GPU上进行，虽然硬件要求较高但单卡可运行，无需多卡并行。超参数方面，论文提供了详细的超参数配置，包括P&P计划、置信度阈值等。内存优化方面，论文提到通过梯度检查点等工程优化，将FlowMo的硬件需求从双GPU降低到单GPU。复现难度评估为中等偏低，主要挑战在于需要H100级别GPU以获得论文报告的推理时间，以及人类评估涉及20名评估者难以完全复现，但自动评估部分可以完全复现。
论文图表
展示了P&P在基于扩散的视频生成模型CogVideoX-I2V上的效果，纠正了截断的光剑和泰迪熊嘴部扭曲等伪影。
证明了P&P框架不仅适用于flow matching模型，也适用于扩散模型，增强了方法的通用性。
展示了Wan2.2-A14B T2V在复杂体操动作（鞍马摆动、后空翻）上的额外生成结果对比，进一步验证了P&P在改善运动生成质量上的有效性。
提供了更多定性证据支持论文的核心主张。
展示了Wan2.2-A14B T2V在物理交互场景（手拉布料）上的额外生成结果对比，展示了P&P如何捕获真实的物理交互和细粒度视觉细节。
提供了物理对齐任务的额外定性证据。
展示了用于Dynamic-bench运动质量评估和VideoPhy2物理常识评估的人类评估问卷界面截图。
提供了评估方法的具体细节，增强了结果的可信度和可复现性。