目标力：教会视频模型完成物理条件化的目标 Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals
通过目标力向量条件化视频生成，让模型学会规划因果物理链来达成指定效果。
前置知识
视频扩散模型
视频扩散模型是一类基于去噪扩散概率模型（DDPM）的生成模型，通过逐步去噪过程从纯高斯噪声生成视频序列。这类模型通常在潜空间（latent space）操作，先用编码器将视频压缩到低维表示，再在该空间进行扩散和去噪，最后解码回像素空间。近年来代表模型包括Sora、Wan2.2等，它们通过大规模数据训练获得了强大的视频先验，能够生成视觉逼真、动态合理的视频内容。本文基于Wan2.2这一开源混合专家（MoE）扩散模型构建系统。
本文的核心是将物理控制信号注入视频扩散模型，理解其工作原理是掌握本文方法的基础。
ControlNet
ControlNet是一种为预训练扩散模型添加空间条件控制的架构。它通过克隆基础模型的部分层（本文克隆了前10层DiT层），在副本上进行微调，然后通过零卷积（zero-convolution）将控制信号注入到冻结的基础模型中。这种设计允许在不破坏预训练模型生成能力的前提下，引入新的控制模态。ControlNet的输入可以是边缘图、深度图、姿态等任意空间条件信号，本文创新性地将其扩展为物理力信号。
本文使用ControlNet架构来注入物理控制信号，这是实现目标力条件化的技术载体。
因果推理与物理直觉
因果推理是指从结果推导原因的能力。在物理世界中，人类天然具备这种能力——看到球B向右运动，我们会推断是球A撞击了它。本文的核心创新就是让视频模型具备这种逆向因果推理能力：给定一个目标效果（goal force），模型需要生成导致该效果的原因动作（antecedent action）。这与传统的「给定原因生成效果」（如PhysGen、Force Prompting）形成根本区别。
理解因果推理的逆向性是把握本文核心贡献的关键——从what if到how to的范式转换。
世界模型
世界模型是一种能够模拟环境动态、预测未来状态的内部模型。在视频生成领域，世界模型指的是能够根据当前状态和动作预测未来视频帧的模型。Ha和Schmidhuber在2018年提出的世界模型框架影响深远。近年来，Sora等大规模视频生成模型被认为是潜在的世界模拟器，但它们缺乏精细的物理控制接口。本文将目标力作为一种新的交互范式，推动世界模型向物理感知规划方向发展。
本文定位为世界模型研究的新方向，提供了物理感知的交互控制方式。
研究动机
现有视频生成模型虽然在视觉保真度和动态渲染方面取得了显著进展，但在精细物理控制方面存在严重不足。具体而言，当前的控制方式主要有两种：文本描述和目标图像。文本描述过于抽象——例如足球运动员的意图不仅仅是「射门」，而是要以特定的力和精度击球；而指定目标图像对于动态任务来说往往过于繁琐甚至不可行，可能需要用户精确渲染球入网时的光照条件。现有的力条件化方法（如PhysGen、PhysDreamer、Force Prompting）只能模拟直接力（效果），而无法规划实现目标力所需的因果链动作（原因）。例如，给定「让球B向右移动」的目标，这些方法会直接在球B上施加力，而不是规划球A撞击球B的因果链。这种局限性使得现有方法无法处理需要多步因果推理的复杂物理任务。
本文的目标是本文提出Goal Force框架，旨在让视频模型学会从目标效果逆向推理，生成实现该目标所需的因果链动作。具体目标包括：(1) 提出一种新的任务范式——目标力条件化视频生成，用户只需指定期望的力效果，模型自动生成导致该效果的前因动作；(2) 设计一个多通道物理控制信号，编码直接力、目标力和质量信息；(3) 通过在简单合成数据上训练，实现对复杂真实场景的零样本泛化，包括工具使用、人机交互等。
与已有工作不同的是，本文的独特切入角度在于将视频生成从「what if」（给定原因生成效果）转变为「how to」（给定效果规划原因）。与现有方法的根本区别是：Prior methods是「效果模拟器」——给定力直接应用；Goal Force是「原因规划器」——给定目标力，模型需要推理出实现它的因果链。这种逆向推理能力使得模型能够处理多步物理交互，例如用高尔夫球杆击球、用多米诺骨牌链式反应等。此外，本文发现仅在简单的合成物理数据（球碰撞、多米诺骨牌）上训练，模型就能涌现出对复杂真实场景的泛化能力，这暗示了学习基础物理交互可以引导复杂推理的涌现。
核心方法
Goal Force的核心思想是将视频生成模型训练为一个隐式神经物理规划器。直觉上，人类处理物理任务时不是关注静态的最终状态，而是分解为具有明确物理属性（空间位置、动力学、运动）的子目标。例如踢点球时，球员关注的是给球施加特定的轨迹和速度——即「目标力」。技术路线上，本文设计了一个三通道物理控制张量 $\tilde{\pi} \in \mathbb{R}^{f \times 3 \times h \times w}$，分别编码直接力（原因）、目标力（效果）和质量信息。通过在合成因果链数据上随机掩码训练，模型被迫学习两种推理模式：目标到计划（给定目标力推断前因直接力）和动作到结果（给定直接力模拟碰撞效果）。最终，模型能够在推理时仅接收目标力信号，自动生成实现该目标的因果链视频。
本文的核心创新在于提出「目标力」这一新范式，与现有方法的本质区别体现在三个方面。第一，控制信号的语义差异：现有方法在Channel 0编码直接力（直接戳），本文在Channel 1编码目标力（期望效果），这迫使模型进行逆向因果推理。第二，训练策略的创新：通过随机掩码直接力或目标力通道，模型同时学习正向模拟（动作到结果）和逆向规划（目标到原因），无需任何物理引擎参与推理。第三，涌现泛化能力：尽管仅在球、多米诺骨牌和花朵的简单合成数据上训练，模型能够零样本泛化到工具使用、人机交互等复杂场景，这表明基础物理交互的学习可以引导复杂推理的涌现。这种how to而非what if的范式转换，使得视频模型从被动的效果模拟器转变为主动的原因规划器。
方法步骤详情
方法的具体步骤如下：(1) 数据准备：生成三类合成数据——多米诺骨牌（3k视频，链式反应）、滚动球（6k视频，碰撞/非碰撞）、PhysDreamer康乃馨（3k视频，非刚体动力学），每个视频配对直接力和目标力的ground truth。(2) 控制信号构建：设计三通道物理控制张量 $\tilde{\pi}$——Channel 0用移动高斯blob编码直接力（位置、角度、幅度的仿射比例），Channel 1用相同表示编码目标力，Channel 2用静态高斯blob编码质量信息（半径与质量成正比）。(3) 训练策略：对每个训练视频，随机提供直接力（Ch 0）或目标力（Ch 1），将另一个置零；质量通道也随机掩码。这迫使模型学习：目标到计划推理和动作到结果模拟。(4) 模型架构：基于Wan2.2 MoE扩散模型，使用ControlNet模块注入物理信号。ControlNet克隆前10层DiT层进行微调，通过零卷积连接到冻结的基础模型。控制信号通过Wan2.2编码器编码后经过随机初始化的patch embedding层送入ControlNet。(5) 训练细节：微调3000步，有效batch size 4（4张80GB A100），48小时内完成。训练和推理使用81帧、16FPS的视频。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在任务定义上，首次提出「目标力条件化视频生成」这一新任务，将视频控制从静态端点或直接力推进到因果链规划。其次，在控制信号设计上，三通道物理控制张量（直接力+目标力+质量）是一种全新的多模态物理条件编码方式，其中力和质量的归一化采用相对尺度而非绝对物理单位，使得模型能学习力的相对概念（小戳vs大戳），无需统一的绝对尺度。第三，在训练范式上，通过随机掩码通道迫使模型同时学习正向和逆向物理推理，这种双模式训练策略无需物理引擎参与推理，却能涌现出隐式神经物理模拟器的能力。第四，在泛化能力上，仅用12k简单合成视频训练，就能泛化到工具使用、人机交互、多物体碰撞等复杂场景，这种涌现泛化在物理视频生成领域是前所未有的。
实验结果
本文通过三类实验系统验证了Goal Force的有效性。第一，人类评估研究（N=40，Prolific平台，2AFC范式）：在75个真实场景的基准测试中，Goal Force在目标力遵循度上显著优于文本基线——对比零样本文本基线平均提升约10个百分点（如两物体碰撞73.4%，人机交互70.5%），同时视觉质量和运动真实感仅有轻微下降。第二，视觉规划准确性：在22个包含「自然阻挡物」的场景中，模型需要识别正确的无约束物体来执行因果链。结果显示模型在大多数场景达到90%以上准确率，如台球场景97.96%、纸团98.00%、厨房柠檬100.00%。失败案例主要是目标物体自发运动，而非选择了错误的阻挡物。第三，多样性分析：在6个多米诺骨牌任务中，模型生成的计划多样性分数 $\delta(p)=0.6577$，远高于确定性基线0.3900，表明模型能探索多模态的有效计划分布而非模式坍塌。第四，质量感知规划：在球碰撞任务中，模型能根据目标和投射物的质量调整运动速度——给定固定目标力，更重的目标需要更快的投射物，更重的投射物可以更慢运动。第五，直接力能力：Goal Force同时保留了直接力控制能力，在与PhysGen、PhysDreamer、Force Prompting的对比中，视觉质量平均提升15-20个百分点，力遵循度在多数基准上领先。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 两物体碰撞（真实场景） | 目标力遵循度（人类偏好%） | 73.4% | 文本零样本基线 | 显著优于，证明显式物理控制信号的关键作用 |
| 多物体碰撞（真实场景） | 目标力遵循度（人类偏好%） | 72.0% | 文本零样本基线 | 显著优于，多步因果推理能力得到验证 |
| 人机交互（真实场景） | 目标力遵循度（人类偏好%） | 70.5% | 文本零样本基线 | 显著优于，零样本泛化到复杂交互场景 |
| 工具-物体交互（真实场景） | 目标力遵循度（人类偏好%） | 74.5% | 文本零样本基线 | 显著优于，工具使用能力涌现 |
| 台球视觉规划 | 规划准确率 | 97.96% | 随机基线至多33.3% | 提升64.63个百分点 |
| 6多米诺骨牌多样性 | 多样性分数 delta(p) | 0.6577 | 确定性基线0.3900 | 提升68.6% |
| 直接力控制（视觉质量） | 人类偏好% | 平均85%以上 | PhysGen/PhysDreamer/Force Prompting | 平均提升15-20个百分点 |
局限与改进
尽管Goal Force取得了显著成果，仍存在多个局限性。首先，合成数据的局限：训练数据仅包含球、多米诺骨牌和花朵三类简单物理交互，虽然展现了涌现泛化，但对于更复杂的物理现象（如流体、布料、可变形物体）的覆盖不足。其次，控制信号的精度问题：力和质量使用相对尺度而非绝对物理单位，这在跨域泛化时可能导致不一致；高斯blob的空间分辨率有限，对精细力的编码能力受限。第三，评估基准的局限：75个真实场景的基准虽然多样，但缺乏标准化的物理准确性评估指标；人类评估的主观性可能引入偏差。第四，模型架构的限制：仅微调ControlNet而冻结基础模型，可能限制了物理推理能力的进一步提升；推理时需要81帧视频，计算成本较高。第五，因果链的复杂度：当前验证主要集中在2-3步因果链，对于更长的因果链（如复杂的机械装置）的能力尚未充分验证。第六，失败模式分析不足：论文提到失败主要是目标物体自发运动，但未深入分析模型在什么条件下会系统性失败。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，训练数据的多样性不足：仅使用12k合成视频训练，数据类型局限于球、多米诺骨牌和花朵，虽然展现出涌现泛化，但这种泛化的边界和失败条件尚不明确。改进方向是引入更多样的物理交互类型（如流体、弹性体、关节物体）和更大规模的合成数据集。第二，质量通道的实际效用有限：论文发现掩码质量通道会导致性能下降，但在真实场景中用户很难提供精确的质量信息。改进方向是开发自动质量估计模块，或让模型从视觉外观推断质量。第三，文本提示的作用被低估：论文强调物理控制信号的重要性，但文本提示在设置语义上下文方面仍有关键作用。改进方向是探索更精细的文本-力联合编码方式。第四，评估缺乏物理准确性指标：当前评估主要依赖人类主观判断，缺乏客观的物理准确性度量（如力的大小误差、方向误差）。改进方向是开发基于物理引擎的自动化评估框架。第五，推理效率问题：81帧视频的生成需要显著计算资源，限制了实时应用。改进方向是探索更高效的视频生成架构或力条件化的轻量化方案。
未来方向
基于本文成果，未来研究可以从多个方向展开。作者提出的未来方向包括：将Goal Force应用于机器人规划，利用视频模型作为世界模型进行物理感知的动作规划；探索更复杂的因果链和更长的时间跨度。基于本文成果可延伸的方向包括：(1) 多模态目标融合——将目标力与文本、图像、轨迹等多种目标模态融合，提供更灵活的用户接口；(2) 物理引擎集成——虽然本文避免使用物理引擎，但将Goal Force与轻量级物理引擎结合可能提升长因果链的规划精度；(3) 真实世界机器人应用——将Goal Force用于机器人操作任务，如抓取、推动、工具使用等，验证从视频规划到物理执行的可行性；(4) 物理常识学习——研究模型从简单物理交互中学到的「物理常识」如何迁移到更广泛的认知任务；(5) 交互式物理模拟——开发基于Goal Force的交互式物理模拟系统，让用户通过力向量与虚拟环境交互；(6) 因果推理的理论分析——深入研究模型如何从数据中学习因果结构，以及这种学习与经典因果推理理论的关系。
复现评估
本文在复现性方面做得相对完善。作者承诺在项目页面（https://goal-force.github.io/）发布所有训练和评估代码、模型权重、合成训练数据和基准数据集。训练基于开源的Wan2.2模型，使用4张NVIDIA 80GB A100 GPU在48小时内完成微调，算力门槛相对可控。合成数据使用Blender和PhysDreamer生成，这些工具都是开源的。然而，复现仍面临一些挑战：(1) 基础模型依赖——需要访问Wan2.2的预训练权重，这可能需要特定的许可；(2) 合成数据生成——虽然工具开源，但重现完全相同的数据集需要精确的随机种子和参数配置；(3) 人类评估——2AFC人类研究需要Prolific平台和40名参与者，这对独立研究者可能构成障碍；(4) 硬件要求——4张A100 GPU的训练成本约为数百美元，对资源有限的研究者可能有挑战。总体而言，本文的复现性在同类工作中属于较好水平，开源承诺和详细的实验描述为后续研究提供了良好基础。
论文图表
展示了所有22个测试场景的可视化结果，每个场景包含初始状态（插图，绿色箭头表示目标力）和有效结果（大图）。涵盖了台球、纸团、厨房物品、橡皮鸭、配饰、冰壶石、魔方等多样化场景。
这张图提供了所有测试场景的直观可视化，帮助读者全面理解评估的多样性和模型的泛化能力。