RealWonder：实时物理动作条件视频生成 RealWonder: Real-Time Physical Action-Conditioned Video Generation
通过物理仿真桥接3D动作与视频生成，实现实时交互
前置知识
光流（Optical Flow）
光流是描述视频帧之间像素运动的二维向量场 $\mathbf{F}_t \in \mathbb{R}^{H \times W \times 2}$，每个像素 $(u,v)$ 处记录其在下一帧中的位移方向和距离。在本文中，光流由3D速度场通过相机投影 $\Pi$ 计算得到：$\mathbf{F}_t(u,v) = \Pi(\mathbf{p}_t + \Delta t \cdot \mathbf{v}_t)(\mathbf{p}_t)$，用于捕捉物理动作产生的运动后果，作为视频生成模型的条件信号。
光流是本文方法的核心中间表示，它将物理仿真产生的3D运动信息转化为视频模型可以理解的2D视觉信号，是连接物理动作与视频生成的桥梁。
视频扩散模型（Video Diffusion Models）
视频扩散模型是一类通过逐步去噪生成视频的深度学习模型。训练时向数据添加高斯噪声，学习逆过程以从噪声中恢复视频。标准模型通常需要50步去噪，处理整个序列帧，无法满足实时交互需求。本文使用的基座模型是 VideoXFun 的 wan2.1-1.3B-InP 图像到视频模型。
理解扩散模型的工作机制是理解本文蒸馏方法的基础——如何将多步双向模型压缩为4步因果模型以实现实时生成。
物理仿真引擎（Physics Simulation Engine）
物理仿真引擎通过数值方法模拟物体在物理定律下的运动。本文使用 Genesis 仿真器，针对不同材料类型采用不同求解器：刚体用形状匹配（Shape Matching）处理碰撞，弹性体/布料/烟雾用基于位置的动力学（PBD），液体和颗粒材料用物质点法（MPM）。仿真时间步长为0.01秒，每个仿真步骤最多20个子步。
物理仿真是本文方法的核心创新——用仿真器作为中间桥梁，将连续的3D动作转化为视频模型可处理的视觉表示，避免了动作token化问题。
分布匹配蒸馏（Distribution Matching Distillation, DMD）
DMD 是一种模型压缩技术，通过最小化学生模型输出分布与教师模型输出分布之间的反向KL散度来训练快速生成模型。数学表达为 $\nabla_\theta \mathcal{L}_{\text{DMD}} = \mathbb{E}_t \left[ \text{KL}(p_{\text{fake},t} \| p_{\text{data},t}) \right]$。本文使用DMD将50步的教师模型蒸馏为仅需4步的学生模型，实现13.2 FPS的实时生成速度。
蒸馏技术是实现实时视频生成的关键，将计算密集的多步扩散模型压缩为少步模型，使交互式物理仿真成为可能。
光流噪声扭曲（Flow-based Noise Warping）
这是一种将运动信息注入扩散模型的技术。给定单帧高斯噪声 $z \sim \mathcal{N}(0, I)$ 和光流场 $\mathbf{F}$，通过扭曲操作得到结构化噪声 $z_F = \text{Warp}(z, \mathbf{F})$。这种扭曲保持高斯分布的同时将运动模式直接编码到噪声结构中，无需额外的嵌入模块或架构修改。
这是本文实现光流条件化的核心技术，使得视频模型能够根据物理仿真产生的光流来生成对应的运动视频。
因果生成（Causal Generation）
因果生成是一种按时间顺序逐帧生成视频的方法，与需要完整序列的双向模型不同。因果模型可以流式处理，每生成一帧即可输出，适合实时应用。本文采用 Self Forcing 训练范式进行自回归展开训练，并通过存储 RoPE 之前的 KV 缓存和添加注意力锚点来解决长序列质量退化问题。
因果生成是实现实时流式视频生成的必要条件，使得用户可以即时看到物理动作的视觉后果。
LoRA（Low-Rank Adaptation）
LoRA是一种参数高效的模型微调技术，通过在预训练模型的每个注意力块中注入低秩适配器矩阵来实现任务特定的调整，而不修改原始模型权重。本文在所有注意力块中注入秩为2048的LoRA模块，冻结基座模型所有权重，仅训练LoRA参数来学习光流条件化。
LoRA使得在有限计算资源下微调大型视频模型成为可能，本文训练仅需128个A100 GPU天。
单图3D场景重建（Single-Image 3D Reconstruction）
从单张2D图像恢复3D场景结构的任务。本文将场景表示为静态背景 $\mathcal{B}$ 和动态物体 $\mathcal{O}$ 的点云。背景通过分割静态区域、修复被遮挡区域、估计逐像素深度并反投影到3D空间获得。物体点云来自反投影像素，并通过前馈重建模型生成完整3D网格来补充不可见表面。
3D重建是整个流程的第一步，将输入图像转化为可仿真的3D表示，其质量直接影响后续物理仿真的准确性。
SDEdit（Stochastic Differential Editing）
SDEdit是一种在扩散模型中注入额外条件的技术，通过从噪声与编码输入的混合物开始去噪过程，而非从纯噪声开始。本文使用SDEdit将粗略RGB预览 $\tilde{\mathbf{V}}_t$ 注入4步去噪过程：$\mathbf{V}_{t,(3)} = \alpha_{(3)} \cdot \mathcal{E}(\tilde{\mathbf{V}}_t) + \sqrt{1-\alpha_{(3)}^2} \cdot z_t^{(4)}$，从第3步而非第4步开始去噪。
SDEdit使模型能够同时利用光流的运动准确性和RGB预览的结构线索，产生更连贯的遮挡处理和物体变形。
研究动机
当前视频生成模型在视觉质量方面取得了令人印象深刻的进展，但它们根本上无法模拟3D物理动作的后果。核心问题在于物理动作的运作方式与视频模型处理信息的方式之间存在根本性不匹配。视频扩散模型擅长在像素或潜在空间中理解视觉模式，但缺乏解释3D力如何在3D场景中传播的结构化理解能力。现有方法面临两个关键障碍：首先，力和力矩等动作是连续且无界的，难以使用对离散输入（如相机位姿）有效的token化方案；其次，获取动作-视频配对训练数据仍是开放问题，因为从观察到的运动中推断导致该运动的精确物理动作通常不可行。例如，Tora模型在柿子碰撞示例中无法正确施加对中间柿子的撞击，违反物体恒常性，合并两个柿子并在末尾生成新的柿子。CogVideoX-I2V在船的示例中无法正确生成向右移动的船，而是倾向于生成向前移动的船。
本文的目标是本文的目标是构建第一个实时物理动作条件视频生成系统RealWonder，能够接受3D物理动作（包括力、力矩、机器人动作和相机控制）作为输入，在480×832分辨率下以13.2 FPS的速度生成物理上合理的视频流。系统需要能够处理多种材料类型（刚体、弹性体、布料、烟雾、液体、颗粒材料），支持多种物理动作形式（3D点力、力场如风、机器人夹爪动作），并实现亚100毫秒的帧延迟，使用户能够交互式探索what-if场景。
与已有工作不同的是，本文的独特切入角度是引入物理仿真作为物理动作与视频生成之间的中间表示桥梁。与现有方法试图直接将物理动作编码为token不同，本文利用物理仿真器将动作后果转化为视频模型可以自然处理的视觉运动模式（光流和粗略RGB渲染）。这种方法优雅地解决了两个基本障碍：它通过利用天然处理无界力和动作输入的物理仿真器来避免连续动作的token化问题；它仅通过光流-视频对应关系进行训练，消除了对稀缺动作-视频训练对的需求。与需要数分钟处理短片的WonderPlay不同，RealWonder通过蒸馏方案实现实时生成，仅需4步扩散即可产生照片级真实感结果。
核心方法
RealWonder采用三阶段管道，以物理仿真作为中间表示桥梁，实现从单张图像和3D物理动作到实时视频流的生成。整体思路是：首先从输入图像重建可仿真的3D场景表示，估计几何形状和适合实时物理的材料属性；然后应用物理仿真计算场景对输入动作的动态响应，将结果渲染为光流 $\mathbf{F}_t \in \mathbb{R}^{H \times W \times 2}$ 和粗略RGB预览 $\tilde{\mathbf{V}}_t \in \mathbb{R}^{H \times W \times 3}$，这些物理驱动的视觉表示编码运动模式同时保持动作因果性；最后这些物理衍生的表示与原始图像一起条件化蒸馏视频生成器，在4步扩散中产生照片级真实感结果。整个系统通过流式架构在单GPU上实现亚100毫秒每帧延迟，维持两个并行流：物理仿真及其渲染流（30 FPS），以及消费最新物理衍生条件的视频生成流（13.2 FPS）。
本文的核心创新是使用物理仿真作为物理动作与视频生成之间的中间表示桥梁。与现有方法的本质区别在于：现有可控视频生成方法在2D屏幕空间操作，需要完整运动规格，无法处理需要3D物理理解的场景；现有交互式视频世界模型需要成对的动作-视频数据，而3D物理动作是连续、高维且无界的，难以token化。本文的关键洞察是：不必直接编码连续动作，而是通过物理仿真将其转化为视频模型可以处理的视觉表示（光流和RGB）。这种方法将连续动作信号转化为离散像素，利用物理仿真器天然处理无界输入；同时仅需光流-视频配对训练数据，而非稀缺的动作-视频配对。这使得RealWonder成为第一个能够接受力、力矩、机器人动作等真实3D物理动作作为输入的实时视频生成系统。
方法步骤详情
方法包含四个主要步骤。第一步是单图3D场景重建：将场景 $\mathcal{S} = \mathcal{B} \cup \mathcal{O}$ 表示为静态背景 $\mathcal{B}$ 和动态物体 $\mathcal{O}$ 的点云。背景通过分割静态区域、修复遮挡区域、估计深度并反投影获得，作为仿真的静态碰撞边界。物体点云来自反投影像素，并通过前馈重建模型生成完整网格补充不可见表面。使用视觉语言模型（VLM）将每个物体分类为6种材料类别（刚体、弹性体、布料、烟雾、液体、颗粒）并估计物理参数。第二步是物理仿真作为中间桥梁：在每个时间步 $t$，物理引擎以当前场景状态 $\mathcal{S}_t$ 和动作 $\mathbf{a}_t$ 为输入，计算更新的位置 $\mathbf{p}_{t+1}$ 和速度 $\mathbf{v}_{t+1}$：$(\mathbf{p}_{t+1}, \mathbf{v}_{t+1}) = \texttt{PhysicsStep}(\mathcal{S}_t, \mathbf{a}_t)$。使用不同材料的专用求解器。第三步是光流条件教师模型训练：从预训练的图像到视频扩散模型 $\mathcal{G}_{\text{base}}$ 开始，通过LoRA注入光流控制。使用光流噪声扭曲 $\mathbf{z}_F = \text{Warp}(\mathbf{z}, \mathbf{F})$ 训练。第四步是因果蒸馏实现流式生成：使用分布匹配蒸馏（DMD）最小化反向KL散度，采用Self Forcing训练范式进行自回归展开训练，将50步教师模型蒸馏为4步因果学生模型。
技术新颖性
本文的技术新颖性体现在多个层面。首先，提出了一种全新的架构范式——使用物理仿真作为中间表示桥梁，这是首次将物理仿真、3D重建和视频生成以这种方式整合。这种设计避免了两个基本障碍：无需token化连续动作（力、力矩是连续无界的），无需动作-视频配对训练数据。其次，设计了光流条件视频生成的蒸馏方案：通过光流噪声扭曲将运动信息直接注入噪声结构，保持高斯分布同时编码运动模式；通过DMD和Self Forcing训练将双向多步教师蒸馏为因果少步学生。第三，在推理时通过SDEdit同时利用光流和RGB预览：从噪声与编码RGB预览的混合物开始去噪，而非从纯流扭曲噪声开始，保留光流的运动准确性同时融入RGB预览的结构线索。第四，整个系统的流式架构设计：维持两个并行流（物理仿真30 FPS、视频生成13.2 FPS），实现亚100毫秒帧延迟，这是首个达到实时性能的物理动作条件视频生成系统。
实验结果
实验结果表明RealWonder成功桥接了物理理解与视觉合成之间的鸿沟。在定量比较中，RealWonder在所有指标上取得最佳或次佳成绩：Visuals 0.708（最佳，CogVideoX 0.696、Tora 0.700、PhysGaussian 0.454），Aesthetics 0.593（PhysGaussian 0.517最高为基线最高），Consistency 0.265（显著高于所有基线，CogVideoX 0.234、Tora 0.223、PhysGaussian 0.221），PhysReal 0.705（大幅领先，CogVideoX 0.624、Tora 0.578、PhysGaussian 0.468）。人类评估研究（400名参与者，2AFC协议）显示RealWonder在所有维度上被显著偏好：Action Following方面，88.4%偏好于PhysGaussian、89.6%偏好于CogVideoX-I2V、83.9%偏好于Tora；Motion Fidelity方面，82.0%偏好于PhysGaussian、71.0%偏好于CogVideoX、67.9%偏好于Tora；Visual Quality方面，88.6%、75.3%、75.4%；Physical Plausibility方面，87.1%、85.9%、79.7%。在生成速度方面，RealWonder达到13.2 FPS，而Tora仅0.107 FPS、CogVideoX-I2V仅0.225 FPS、PhysGaussian仅0.207 FPS。RealWonder的延迟为0.73秒，而PhysGaussian为4.84秒。消融研究表明，移除物理仿真器后仅使用文本无法产生合理的物理结果；移除RGB预览条件后结果不遵循模拟的整体运动；移除光流条件后视频模型可能忽略运动信号产生静态视频。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物理动作条件视频生成 | Visuals | 0.708 | CogVideoX 0.696 / Tora 0.700 / PhysGaussian 0.454 | 最佳，比最强基线CogVideoX高0.012 |
| 物理动作条件视频生成 | Consistency | 0.265 | CogVideoX 0.234 / Tora 0.223 / PhysGaussian 0.221 | 比最强基线CogVideoX高0.031（13.2%相对提升） |
| 物理动作条件视频生成 | PhysReal (GPT-4o物理真实性) | 0.705 | CogVideoX 0.624 / Tora 0.578 / PhysGaussian 0.468 | 比最强基线CogVideoX高0.081（13.0%相对提升） |
| 人类评估 - Action Following | 2AFC偏好率 | 88.4%-89.6% | PhysGaussian / CogVideoX-I2V / Tora | 89.6%偏好于CogVideoX-I2V |
| 实时性能 | FPS | 13.2 | Tora 0.107 / CogVideoX 0.225 / PhysGaussian 0.207 | 比最快基线CogVideoX快58.7倍 |
局限与改进
本文存在若干局限性。作者承认的主要限制是3D场景重建可能因深度估计误差而不准确，导致次优的仿真和视频结果。深度估计是单图3D重建的固有挑战，当前方法可能在复杂场景、遮挡严重的区域或反射/透明材质上表现不佳。此外，论文展示的场景主要是单个或少量物体的交互，未充分展示复杂多物体交互场景的能力。材料分类依赖VLM的估计，可能不准确，需要用户手动覆盖。在技术层面，4步扩散生成可能在某些复杂场景中产生视觉伪影；点云表示虽然轻量但可能无法捕捉精细几何细节；系统在单GPU上运行，对于更大规模或多用户场景的可扩展性未被探索。评估仅使用30张图像的小规模数据集，可能无法充分代表真实世界场景的多样性。
独立分析的弱点
本文存在几个值得关注的弱点。首先，3D场景重建的质量直接限制了整个系统的上限，当前使用轻量级点云表示可能在复杂几何、精细细节和遮挡区域表现不佳，改进方向是采用更先进的大规模重建模型如DUSt3R或MASt3R。其次，材料分类完全依赖VLM的估计，物理参数可能不准确，可以探索基于物理属性学习的自动材料估计方法。第三，评估规模较小（仅30张图像、400名参与者），缺乏在标准基准上的系统性比较，需要更大规模、更多样化的评估数据集。第四，系统仅在单GPU上展示了实时性能，对于多物体复杂场景、更高分辨率或更长时间序列的性能未被充分探索。第五，虽然论文展示了多种材料类型，但每种材料的示例数量有限，某些材料组合（如液体与颗粒）的交互质量可能需要进一步验证。
未来方向
作者提出的主要未来方向包括：探索利用在大规模数据集上训练的更可靠大型重建模型来提高3D场景重建的准确性。基于现有成果，可以延伸出更多研究方向：扩展到多物体复杂交互场景，如机器人在杂乱环境中操作多个物体；探索更丰富的动作空间，如接触力、摩擦力、软体抓取等更精细的物理交互；将系统应用于下游任务如机器人运动规划（利用实时物理仿真快速评估动作后果）、AR/VR体验（用户可以实时与虚拟物体进行物理交互）、机器人学习（通过物理仿真生成大量训练数据）；研究自适应分辨率和计算分配，根据场景复杂度动态调整仿真精度和视频生成质量；探索与大型语言模型的结合，实现更高级的场景理解和动作规划。
复现评估
本文提供了良好的可复现性支持。代码和检查点已在项目主页 https://liuwei283.github.io/RealWonder 公开发布。物理仿真使用开源Genesis仿真器，视频模型基座为开源的VideoXFun wan2.1-1.3B-InP模型。训练数据包含200K光流-噪声配对，其中180K来自OpenVid真实世界视频，20K由Wan2.1-14B-T2V合成生成，数据集构建方法参考了现有工作。论文详细描述了实现细节：LoRA秩2048、300K迭代、学习率10^-5、蒸馏使用2K ODE轨迹、3K迭代MSE损失、600迭代DMD。总训练计算量约128个A100 GPU天，推理仅需单GPU即可实现实时性能。然而，完整复现仍需要相当的计算资源，且一些实现细节留待附录补充。
论文图表
展示了RealWonder系统的能力概览：左侧显示输入场景图像，中间显示不同类型的物理动作（3D点力、重力场、3D力场、风力场、机器人动作），右侧显示生成的视频流（13.2 FPS，480x832分辨率）。展示了系统能够处理刚体、弹性体、布料、流体和颗粒材料等多种材质。
这是论文的主图，直观展示了系统的核心能力——接受3D物理动作输入并实时生成物理合理的视频，涵盖了论文声称的所有主要功能。