流式力控视频生成：STREAMFORCE

统一力表示+因果蒸馏实现实时力控流式视频生成

前置知识

扩散模型

一种生成模型，通过逐步去噪从随机噪声生成数据。视频扩散模型通常在时空隐空间中联合去噪多帧，能够产生高质量但速度较慢的结果。双向扩散在去噪时依赖过去和未来的上下文，违反因果顺序。

本文的基础是Wan2.2双向视频扩散模型，理解其原理有助于理解为什么要进行因果蒸馏。

因果自回归生成

一种按时间顺序生成数据的框架，每个时间步只依赖已生成的内容。在视频生成中，这意味着第t帧只能看到第1到t-1帧的上下文，符合真实世界的因果顺序，支持实时流式生成。

STREAMFORCE的核心创新是将力条件视频生成从双向模型蒸馏到因果自回归模型，实现16.6 FPS的实时交互。

分布匹配蒸馏（DMD）

一种将大型扩散模型蒸馏为快速生成模型的技术。通过匹配学生模型的输出分布与真实数据分布，可以在保持生成质量的同时大幅减少采样步数。Self-Forcing是一种自回归版本的DMD。

本文使用Self-Forcing DMD蒸馏管道将双向教师模型转换为因果学生模型，关键创新是在蒸馏过程中保持力条件信息。

ControlNet

一种为扩散模型添加额外控制条件的技术。通过添加并行的控制分支，可以在不修改基础模型参数的情况下注入额外条件（如边缘图、深度图或本文的力信号）。

STREAMFORCE使用ControlNet架构注入力信号，保留预训练模型的视觉生成能力，同时学习力-运动对应关系。

研究动机

现有视频生成模型无法同时满足两个关键需求：力交互（响应物理上合理的力控制输入）和流式生成（视频按时间顺序展开，允许用户在生成过程中观察结果并调整力）。具体而言，Force-Prompting首次探索了力条件视频生成，但存在三个根本局限：第一，它将全局力（如风作用于整个场景）和局部力（如推动特定物体）视为不同问题，使用独立表示和训练独立模型，不仅加倍建模成本，还阻碍了学习跨力类型的共享动力学；第二，其训练数据只包含每个视频中保持不变的固定力，没有对时变力的监督，导致用户在生成过程中改变力方向或大小时模型无法连贯响应；第三，它依赖双向扩散离线生成整个序列，需要在生成开始前指定所有力，消除了基于观察到的运动调整力的交互反馈循环。

本文的目标是本文的目标是开发一个统一、因果的视频生成框架，能够通过连续力输入实现交互，支持全局和局部、时变的力。具体而言，模型应能够：1）用单一表示处理多种力类型（全局力如风、局部力如推）；2）在生成过程中响应力的动态变化；3）以实时流式方式生成视频，支持在线交互；4）保持高视觉质量和物理合理性。

与已有工作不同的是，本文的独特切入角度是先控制后因果的范式。不同于现有方法要么直接训练因果模型（缺乏力控制机制），要么仅训练双向力控模型（无法流式生成），本文先在高容量双向教师模型中建立强力的力条件运动动力学，然后通过力感知蒸馏管道将这种可控行为蒸馏到因果流式学生模型中。关键创新在于发现标准蒸馏会破坏教师学习到的力-运动对应关系，因此开发了力感知蒸馏范式，在整个过程中保持力条件，使用多样化图像-力数据保持可控性和开域视觉泛化。

核心方法

STREAMFORCE方法整体思路遵循先控制后因果的两阶段范式。直觉上，双向扩散模型能够看到整个序列，更容易学习力与运动之间的全局对应关系；但双向模型无法支持实时交互。因此，先训练一个强大的双向教师模型来学习力条件动力学，然后将其蒸馏到因果自回归学生模型中，保留可控性的同时获得流式生成能力。技术路线上，第一阶段使用统一力表示训练双向教师，在合成力条件数据上学习力-运动对应；第二阶段通过力感知蒸馏（ODE初始化+Self-Forcing DMD）将教师转换为因果学生，使用多样化图像-力数据防止过拟合到合成场景，并引入力变化监督使模型能响应动态力输入。最终模型在832×480分辨率下以16.6 FPS运行，延迟仅0.6秒，实现实时力控流式生成。

STREAMFORCE的核心创新点是统一力表示和力感知蒸馏管道。统一力表示将全局力和局部力整合在单一公式中，通过像素对齐的掩码力图区分力类型，使单一模型能处理多样化的物理交互并学习跨力类型的共享动力学。力感知蒸馏管道的关键发现是：标准蒸馏无法保留教师学习到的力-运动对应关系，导致不真实的动力学和弱响应性。为此，论文开发了力感知蒸馏，在整个蒸馏过程中保持力条件，使用多样化的图像-力轨迹（合成数据+真实图像）进行初始化，确保学生模型继承可控的物理行为同时保持开域视觉泛化。与Force-Prompting相比，这使模型能够处理时变的力输入，并支持全局/局部力的统一建模。

方法步骤详情

STREAMFORCE方法的完整流程包括两个训练阶段：1）双向教师训练阶段：输入是初始图像和力信号序列，力信号包括幅值Ft在0到1之间和方向θt在0到2π之间，通过空间掩码Mt(u,v)区分全局力（全为1）和局部力（圆形区域为1其余为0）。使用预训练的Wan2.2 5B TI2V模型作为基础，添加ControlNet分支注入力信息，在30K合成视频（来自Force-Prompting）+ 30K Blender渲染的力变化视频上训练，保持基础模型参数冻结，只优化ControlNet，使用rectified flow matching目标。2）因果蒸馏阶段：包括ODE初始化和Self-Forcing蒸馏。ODE初始化使用教师模型从噪声生成ODE轨迹解对，对不同的潜在块采样不同的噪声水平（[1000,750,500,250,0]），用合成数据和约90K多样化图像-力对（1:2比例）训练因果学生模型。Self-Forcing蒸馏使用DMD目标，将视频潜在分为L块，每块只attend自身的噪声token和之前清理的KV缓存，用反向KL散度匹配学生输出与真实数据分布。使用AdamW优化器，生成器学习率2×10^-6，评论家学习率4×10^-7，1:5更新比例，在8个H200 GPU上训练3000步。最终模型支持自回归视频生成，响应动态变化的力控制。

技术新颖性

STREAMFORCE的技术新颖性体现在三个方面。首先是统一力表示，首次将全局力和局部力在单一数学公式中建模，通过像素对齐的掩码力图实现，使模型能够学习跨力类型的共享动力学，这是对Force-Prompting分离建模的根本改进。其次是力感知蒸馏管道，发现并解决了标准蒸馏破坏力-运动对应关系的问题，这是将力条件从双向模型迁移到因果模型的关键技术突破。第三是力变化监督，首次在训练数据中引入时变的力输入（风力在序列中改变方向和幅值，物体被多次推动），使模型能够学习响应力的动态变化，这是实现真正交互式力控制的前提。此外，论文还展示了多力部分级交互（T-pushing任务）、涌现的直观物理（质量感知、摩擦感知、重力感知）等能力，这些都超过了现有方法。

**Figure 2**: STREAMFORCE model architecture and training pipeline.

实验结果

STREAMFORCE在三个主要实验中取得了显著成果。首先在感知评估中（40个测试用例，26名参与者），在力保持设置下（力不变），全局力的力遵从度为64.2%，局部力为81.9%；在力变化设置下（力在生成过程中改变），全局力的力遵从度达到86.5%，局部力为80.4%。相比之下，Force-Prompting在力变化设置下的局部力遵从度仅为6.2%，几乎完全无法响应力的动态变化。这表明统一表示和力变化监督对实现真正的交互式控制至关重要。其次在Physics-IQ基准评估中（40个真实力条件视频作为ground truth），STREAMFORCE在全局力场景的总体得分为40.99，局部力为46.31，均超过Force-Prompting（全局40.87，局部44.29）和Wan2.2 TI2V（全局37.92，局部35.21）。特别是在时空IoU和运动错误（MSE）指标上，STREAMFORCE表现最佳，表明生成的运动更紧密匹配ground truth动力学。第三在消融实验中，移除力变化数据导致力变化场景下的感知得分从71.7%/88.6%（全局/局部）急剧下降到15.2%/0%，证明了力变化监督的必要性；移除多样化数据导致Physics-IQ得分下降（全局从40.99到27.82，局部从46.31到20.50），表明多样化图像-力数据对防止过拟合合成场景的重要性。运行效率方面，STREAMFORCE在832×480分辨率下达到16.6 FPS，延迟0.6秒，在单个H200 GPU上实现实时流式生成。

**Table 1**: Perceptual Evaluation. FT: Force Type.

**Table 3**: Ablations with PhysicsIQ Score.

**Table 4**: Ablations with Perceptual Study.

**Figure 6**: Mass-aware motion behavior.

**Figure 7**: Friction-aware motion behavior.

查看结构化数据

任务	指标	本文	基线	提升
力保持-全局力	力遵从度	64.2%	Force-Prompting 74.2%	低于基线（但物理合理性更高）
力保持-局部力	力遵从度	81.9%	Force-Prompting 48.8%	+33.1个百分点
力变化-全局力	力遵从度	86.5%	Force-Prompting 32.7%	+53.8个百分点
力变化-局部力	力遵从度	80.4%	Force-Prompting 6.2%	+74.2个百分点
Physics-IQ全局力	总体得分	40.99	Force-Prompting 40.87	+0.12
Physics-IQ局部力	总体得分	46.31	Force-Prompting 44.29	+2.02
Physics-IQ局部力	时空IoU	0.542	Force-Prompting 0.373	+45.3%

局限与改进

作者承认的局限性包括：1）力表示仅限于2D图像平面，没有明确建模沿深度方向的力（向或远离相机），虽然常见场景如风或横向推力可以合理捕获，但3D物理交互无法显式表示；2）力类型的多样性有限，目前只考虑机械接触力（推拉）和风场，其他物理力如磁力、静电力、浮力或非接触/场基交互未被覆盖；3）局部力支持的物体材料主要是刚性或关节的（如被推的玻璃、被拉开的抽屉），非刚性材料如流体（水溅、烟雾搅拌）、弹性或可变形物体（布料、橡胶、面团）和颗粒介质（沙子、卵石）未显式覆盖；4）主要关注单个物体对外力的响应，复杂的多物体交互如碰撞、堆叠或链式运动未被显式建模。额外的观察包括：力表示需要用户手动指定幅值和方向，这对非专业用户可能不直观；质量感知和摩擦感知是涌现的粗级行为而非精确的物理建模，可能在极端情况下失效；训练依赖于合成数据和人工标注，成本较高且可能有domain gap。

独立分析的弱点

独立分析的弱点包括：1）力表示是2D的，限制了3D交互场景的应用。改进方向：扩展到3D力表示，利用深度估计或多视角输入建模沿深度方向的力，或集成3D重建模块将2D输入提升到3D场景；2）力类型有限，仅支持接触力和风。改进方向：扩展力表示以支持更多物理力类型（磁场、电场、浮力、重力变化），并在训练数据中包含这些力的真实世界或仿真案例；3）局部力对非刚性材料的处理不足。改进方向：在训练数据中增加流体、布料、弹性物体的力交互示例，或引入物理仿真器生成更丰富的变形/流体动力学监督信号；4）多物体交互建模较弱。改进方向：引入物体级场景表示（分割、实例跟踪），显式建模物体间交互，或在蒸馏过程中使用物理仿真器增强交互监督；5）力控制需要用户精确指定幅值和方向。改进方向：开发更自然的力输入界面，如手势追踪、语音指令或拖拽式交互，降低用户使用门槛；6）训练依赖大量合成数据和人工标注。改进方向：开发自监督或弱监督学习范式，从真实视频中学习力-运动对应关系，或利用物理仿真器自动生成大规模训练数据。

未来方向

作者提出的未来研究方向包括：扩展到更全面的物理力类型（非接触力如磁力和静电力）和多接触配置；支持更丰富的物体材料类别（非刚性、流体、颗粒介质）；建模复杂的多物体交互如碰撞和堆叠。基于成果可延伸的方向包括：1）与3D生成结合，将2D力控制扩展到3D场景，支持真正的3D物理交互；2）与机器人技术集成，将STREAMFORCE作为交互式世界模型用于机器人训练和测试，实现sim-to-real迁移；3）与音频生成结合，根据力控制输入同步生成相应的音效（如风声、碰撞声），增强沉浸感；4）与用户界面结合，开发VR/AR应用，让用户在虚拟环境中施加力并实时观察效果；5）与强化学习结合，使用STREAMFORCE作为可交互环境训练智能体的物理推理能力；6）与多模态结合，支持文本、语音、手势等多种力输入方式；7）长视频生成，扩展到分钟级视频，同时保持力响应性和物理一致性；8）视频编辑，支持在已有视频中添加或修改力条件，实现物理可控的编辑。

复现评估

复现评估：项目网站（https://neu-vi.github.io/StreamForce/）提供示例，但截至论文发表时代码和模型权重是否公开未明确说明。基础模型使用公开的Wan2.2 5B TI2V，合成数据使用公开的Force-Prompting代码库和仿真流程，多样化图像来自Pexels（公开可用）。训练使用8-16个H200 GPU，总训练步数约13K步（教师10K + ODE初始化10K + Self-Forcing 3K），算力需求较高。标注数据约90K图像-力对，需要人工标注工具（论文展示了标注界面），标注成本可估算但具体耗时未提供。训练超参数详细公开（学习率、batch size、优化器设置），数据合成和蒸馏流程有详细描述。总的来说，代码公开性未知，但基础模型和训练流程相对完整，中等难度。主要挑战在于GPU资源（H200）和标注数据准备。

流式力控视频生成：STREAMFORCE Streaming Video Generation with Streaming Force Control