← 返回 2026-05-01

PhyCo：面向生成式运动的可控物理先验学习 PhyCo: Learning Controllable Physical Priors for Generative Motion

Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker 📅 2026-04-30 👍 13 2026-07-13 08:36
ControlNet VLM奖励 扩散模型 物理一致性 视频生成
arXiv HuggingFace PDF

用物理属性图+VLM反馈把可控物理合成注入视频扩散模型

前置知识

扩散模型与ControlNet

扩散模型通过迭代去噪从高斯噪声生成数据，ControlNet 在冻结的预训练扩散模型上外挂可训练分支，把边缘、深度等空间条件注入去噪过程，使生成结果受额外信号控制。

PhyCo 的核心 Stage 1 正是把"物理属性图"当作 ControlNet 的空间条件，所以必须先理解 ControlNet 如何在不破坏预训练能力的前提下引入新控制通道。

摩擦/恢复系数/Neo-Hookean 形变

$\mu_f \in [0,1]$ 控制滑动阻力，$e \in [0,1]$ 控制碰撞反弹强度，Neo-Hookean 模型用 Lamé 系数 $\mu, \lambda$ 描述弹性形变，是连续介质力学中最基础的弹性本构之一。

PhyCo 把这四个物理量编码成与像素对齐的空间图并作为可控信号，没有连续介质与刚体力学背景就读不懂属性图的设计含义和实验结果。

VLM-as-a-Judge 与可微奖励

用视觉-语言模型对生成视频回答"是/否"二分类问题，比较"正确"与"错误"词元的 logit 差，通过 $\sigma(\zeta^+ - \zeta^-)$ 构造可微二元交叉熵 $\mathcal{L}_{VLM}$，作为强化信号回传梯度。

PhyCo Stage 2 把 VLM 当作物理属性评判器，只有理解这种 logit-as-reward 的对齐范式，才能明白为何 8×H200 GPU 上的 VLM 反传能改善物理一致性。

Physics-IQ 基准

Motamed 等提出的物理常识视频基准，覆盖固体力学、流体、光学、磁学、热力学五大领域共 396 段参考视频，通过关键动作时序与空间对齐给出 IQ Score 评估生成视频的物理合理性。

PhyCo 主要定量结果都在该基准上报告，包括与 Cosmos-Predict2、VLIPP、SG-I2V 等模型的 IQ Score 对比，是评估物理生成可量化的核心标尺。

研究动机

现代视频扩散模型虽然能生成外观逼真的纹理、光照与连贯运动，却普遍违反基础物理规律：物体会悬浮或下落太慢、碰撞缺乏反弹、软体形变不真实。Motamed 等人的 Physics-IQ 基准测试显示，主流开源模型如 SVD-XT 总分仅 19.1、CogVideoX-I2V-5B 仅 27.1，远未达到人类对物理直觉的预期。此外，即便现有工作通过 PhysGen 等刚体求解器、PhysDreamer 等 MPM 优化或 Force Prompting 等隐式条件来强化物理保真度，但显式方法依赖推理时调用物理引擎与三维几何重建，难以扩展；隐式方法又只能控制单一属性（如力的方向），缺少对摩擦、恢复、形变等多种物理量的连续、组合化操控。

本文的目标是本文目标是为视频扩散模型引入"连续、可解释、物理意义明确"的属性级控制通道，让用户能通过类似物理仿真器的接口直接设定摩擦系数 $\mu_f$、恢复系数 $e$、Neo-Hookean 形变参数 $d_\mu, d_\lambda, d_\gamma$ 以及力的大小 $F$ 与方向 $(\cos\phi, \sin\phi)$，从而在推理阶段无需任何仿真器或几何重建的前提下，让生成的视频自动呈现与设定物理参数一致的动态行为，并且支持不同属性的组合泛化与跨场景迁移。

与已有工作不同的是，PhyCo 的独特切入角度是"把物理仿真器常用的连续参数表示 + 空间属性图 + VLM 语义反馈"三者耦合到单一视频扩散框架中：先用 Kubric+PyBullet+Blender 构建超过 100K 条 100K+ 段带像素对齐物理标注的合成视频作为监督源，再用 ControlNet 把归一化到 $[-1,1]$ 的属性图注入 Cosmos-Predict2-2B 的去噪过程，最后用微调过的 Qwen2.5-VL-3B 对生成视频做二元物理问答，提供可微奖励。这一显式+语义的双重监督组合是已有 PhysGen、Force Prompting、VLIPP、PhysCtrl 等工作都未同时具备的。

核心方法

PhyCo 走的是"显式属性条件 + 语义奖励对齐"的双阶段路线。直觉上，作者认为单纯靠仿真器渲染视频去微调扩散模型虽然能学会物理外观，但难以保证属性保真度；反过来只靠 VLM 语义打分又没有真实物理监督，容易生成语义合理但物理失真的视频。因此 Stage 1 用 Kubric 仿真生成 100K 段带像素对齐属性图 $p \in \mathbb{R}^{K \times H \times W}$ 的视频，再用 ControlNet 把属性图 token 后注入 Cosmos-Predict2-2B 的去噪过程，目标是让模型在给定初始帧 $x_0^0$、文本提示 $t$ 和属性图 $p$ 时输出与仿真一致的动态；Stage 2 冻结 VLM 的物理问答能力，把生成的视频解码后用 Yes/No 问题查询 VLM，把"正确词元 logit 减去错误词元 logit"的 sigmoid 差作为可微奖励 $\mathcal{L}_{VLM}$，仅对 ControlNet 分支反向传播，从而进一步对齐物理属性。

与传统 Force Prompting 只在 15K 视频上做力的方向监督、PhysCtrl 用点云轨迹、VLIPP 用 VLM 提取粗略轨迹相比，PhyCo 的核心创新在于：(1) 把物理仿真器风格的"多通道连续属性图"作为 ControlNet 的空间条件，而非单属性的离散标签或语言描述；(2) 每个语义相关的属性组（$\mu_f+e$、$d_\mu+d_\lambda+d_\gamma$、$F+\cos\phi+\sin\phi$）由独立的 ControlNet 分支处理，便于组合化与单独训练；(3) 训练时只对 ControlNet 微调、基模型与 tokenizer 冻结，从而保留 Cosmos-Predict2 的大规模先验；(4) VLM 反馈阶段不重新跑 score matching，而是用 10 步 denoising rollout 拿到接近推理时的潜变量再让 VLM 评判，避免单步重建过于接近真值而失去评估意义。

方法步骤详情

步骤一，用 Kubric+PyBullet+Blender 渲染 100K+ 段 24FPS 仿真视频，覆盖砖滑、撞墙、垂直弹跳、软球下落、撞软体、多球碰撞 6 类场景，把摩擦、恢复、形变、力与方向在 $[0,1]$ 随机化。步骤二，把连续物理量归一化到 $[-1,1]$ 后用 Cosmos tokenizer 编码。步骤三，Stage 1：冻结 Cosmos-Predict2-2B 主干，仅训 ControlNet 分支，用 score matching 损失 $\mathcal{L}_{DM}$，4×H100 训 10k 步，lr=$2^{-14.5}$，监督 57 帧。步骤四，200 步 LoRA 微调 Qwen2.5-VL-3B 至 $\approx 85\%$ 准确率。步骤五，Stage 2：用 $\mathcal{L}_{VLM}=-\sum_i\log\sigma(\zeta_i^+ - \zeta_i^-)$ 训 100 迭代，8×H200 做 10 步 rollout 解码 16 帧输入 VLM，仅反传 ControlNet。

技术新颖性

技术新颖性体现在三处耦合。其一，"像素对齐多通道物理属性图"作为扩散条件是本文首创，区别于 Force Prompting 把力当文本前缀、PhysDreamer 把 MPM 参数当潜变量，让属性值与物体区域在空间上严格对齐，可解释且便于组合；其二，"语义分组 + 多 ControlNet 分支"架构让 $\mu_f+e$、形变参数、力通道可以独立训练、独立推理，避免单分支容量不足且支持后续组合泛化；其三，VLM 二元物理问答被改造成 logit 差形式的可微奖励 $\sigma(\zeta^+ - \zeta^-)$，且只对 ControlNet 反传、10 步而非单步 rollout，使得奖励更接近真实推理分布，这一组合在 VADER、ImageReward 之后尚未在物理视频领域被同等深度地应用。

Overview of the proposed PhyCo two-stage training pipeline.
Figure 2: Overview of the proposed PhyCo two-stage training pipeline.
Example simulation videos from our dataset comprising of more than 100K videos from 8 different scenarios.
Figure 3: Example simulation videos from our dataset comprising of more than 100K videos from 8 different scenarios.

实验结果

在 Physics-IQ 基准（120f@24FPS）上 PhyCo 全量模型 IQ Score 36.3，相对 Cosmos-Predict2-2B 27.7 提升 +8.6，也高于 VLIPP 34.6；固体力学 44.1、热力学 33.1 等四子项 SOTA。57f+尾帧重复时总分 43.6，再 +15.9。用户研究（16 人 39 对）显示 PhyCo 对 CogVideoX-I2V-5B 在摩擦/恢复/形变/力上偏好率 95.5%/100.0%/82.2%/91.1%，对 Cosmos 100.0%/93.2%/91.3%/86.4%。力方向控制 15.2° vs Force Prompting 40.5°，误差降约 62.5%。消融显示 VLM 奖励显著收紧物理保真：FM 0.33→0.28、Fric 0.24→0.20、FD° 38.05→22.53、Res 0.28→0.16、Def 0.14→0.10。FVMD 上 ControlNet+VLM 在固体力学/流体/磁学最低。仅文本 LoRA 微调 Wan2.2 平均 IQ 由 30.5→35.1，验证数据集骨架无关。

Comparison of physics-rich datasets and benchmarks used for learning and evaluating object dynamics.
Table 1: Comparison of physics-rich datasets and benchmarks used for learning and evaluating object dynamics.
Quantitative results of physically plausible video generation on Physics-IQ Benchmark.
Table 2: Quantitative results of physically plausible video generation on Physics-IQ Benchmark.
User study results evaluated on the physical realism axis for different physical properties.
Table 3: User study results evaluated on the physical realism axis for different physical properties.
Ablation study on synthetic data across five controllable properties.
Table 4: Ablation study on synthetic data across five controllable properties.
FVMD-based comparison of the proposed methods against base model on Physics-IQ benchmark videos.
Table 5: FVMD-based comparison of the proposed methods against base model on Physics-IQ benchmark videos.
Quantitative evaluation (120f @ 24FPS) on Physics-IQ benchmark with text only LoRA finetuning on Wan2.2 base model.
Table 6: Quantitative evaluation (120f @ 24FPS) on Physics-IQ benchmark with text only LoRA finetuning on Wan2.2 base model.
Representative frames from our generated outputs, illustrating controllable behavior across key physical attributes.
Figure 4: Representative frames from our generated outputs, illustrating controllable behavior across key physical attributes.
Qualitative results illustrating compositional control over multiple physical attributes within the same scene.
Figure 5: Qualitative results illustrating compositional control over multiple physical attributes within the same scene.
Qualitative comparison between our proposed method and other baselines.
Figure 6: Qualitative comparison between our proposed method and other baselines.
Ablation on explicit physical property conditioning using a ControlNet with additional VLM feedback.
Figure 7: Ablation on explicit physical property conditioning using a ControlNet with additional VLM feedback.
Shows the first frames that were used in the generated video storyline for two different examples.
Figure 8: Shows the first frames that were used in the generated video storyline for two different examples.
Qualitative results from Physics-IQ benchmark.
Figure 9: Qualitative results from Physics-IQ benchmark.
Controllability results from Wan2.2 LoRA model trained with text-only conditioning using the proposed PhyCo dataset.
Figure 10: Controllability results from Wan2.2 LoRA model trained with text-only conditioning using the proposed PhyCo dataset.
查看结构化数据
任务指标本文基线提升
Physics-IQ 总 IQ Score（120f@24FPS） IQ Score (↑) 36.3 (ControlNet+VLM) 27.7 (Cosmos-Predict2-2B)；34.6 (VLIPP) +8.6 相对 Cosmos；+1.7 相对 VLIPP
Physics-IQ 固体力学 Sub-score (↑) 44.1 31.7 (Cosmos)；42.3 (VLIPP) +12.4 相对 Cosmos；+1.8 相对 VLIPP
Physics-IQ 热力学 Sub-score (↑) 33.1 (120f) / 35.9 (57f+尾帧重复) 16.9 (Cosmos)；8.8 (VLIPP) +16.2 相对 Cosmos；+24.3 相对 VLIPP
力方向控制误差（25 段真实视频） Angular Deviation (°, ↓) 15.2° 40.5° (Force Prompting) 误差减少约 62.5%
用户研究（PhyCo vs CogVideoX-I2V-5B） 2AFC 偏好率 (%) 95.5% / 100.0% / 82.2% / 91.1% (Fric/Res/Def/Force) 50% (随机) 全部维度被试明显偏好 PhyCo
用户研究（PhyCo vs Cosmos-Predict2） 2AFC 偏好率 (%) 100.0% / 93.2% / 91.3% / 86.4% 50% (随机) 摩擦维度达到 100% 完全偏好
FVMD 物理一致性（120f@24FPS） Fréchet Video Motion Distance (↓) S.M. 2337.7 / F.D. 1223.1 / Opt. 3032.9 / Mag. 643.7 / Therm. 2132.6 基线 Cosmos 4676.9 / 1782.6 / 3277.9 / 3200.0 / 1586.8 S.M. -50%, Mag. -80%，但 Optics/Therm 因场景少有波动
跨骨架泛化：Wan2.2 + 文本 LoRA 微调 Physics-IQ Avg (↑) 35.1 30.5 (Wan2.2 zero-shot) +4.6 平均分，仅靠数据集即带来显著提升

局限与改进

作者明确指出当前生成的动态仍是"对真实物理的近似"而非精确复现：(1) PhyCo 主要捕捉简化的刚体与软体行为，对铰接运动、流固耦合、多接触动力学等复杂场景仍只能部分建模；(2) 空间属性图提供的是"可解释的控制"而非严格守恒律（动量、能量、形变能）约束，偶尔会出现细微但可见的物理偏差；(3) 训练只在 57 帧（≈2.4 秒）序列上做监督，推理时外推到 120 帧（5 秒）虽然 IQ 仍上升，但 FVMD 在 Optics/Thermodynamics 等场景数较少的类别上偶尔回升，说明长时一致性仍不稳定；(4) 闪烁伪影在薄结构或高频运动区域依旧可见，需要更高 FPS 训练或更强骨干（如 Wan2.2）才能显著缓解。我个人还观察到：VLM 微调只做了 200 步 LoRA，且 $\approx 85\%$ 的二元准确率并不算高，可能影响 Stage 2 奖励的可靠性；同时训练算力需求（Stage 1 用 4×H100、Stage 2 用 8×H200）相当高，普通研究者难以复现。

独立分析的弱点

其一，依赖 Cosmos-Predict2-2B 这种偏弱开源骨干，5 秒长视频外推时 Optics 仅 20.1 vs Cosmos 26.2，FVMD 在样本少的类别回升，提示骨干容量限制了长时一致性，改进方向是换 Wan2.2 或训 121 帧。其二，VLM 只微调 200 步且二元准确率仅 $\approx 85\%$，可能引入奖励噪声，可改用 Qwen2.5-VL-7B/72B 或多轮 prompt。其三，属性图用圆形 blob 表示物体区域，无法表达非凸或多物体独立属性，需引入实例级 segmentation mask。其四，缺与 PISA、PhysCtrl 的直接头对头定量对比。其五，Stage 2 用 8×H200（峰值 115GB/卡）门槛极高，可蒸馏 VLM 为轻量 critic 或在潜空间对齐。

未来方向

作者已指明的未来方向包括：(1) 把物理属性先验扩展到更复杂的场景，如铰接物体运动、流体-固体耦合、长期多接触动力学；(2) 探索更严格的物理守恒约束（如在损失中加入动量/能量项），把生成从"近似"推向"可解释物理"；(3) 把空间属性图从圆形 blob 升级为实例级 mask，支持多物体独立属性操控。基于论文成果还可延伸出几条新方向：(a) 把 PhyCo 的属性控制通道与机器人策略学习结合，让视频生成模型充当世界模型，用于离线 RL 或 planning；(b) 用物理属性图作为中间表征，结合 inverse rendering 自动从单段视频反推物理参数，实现"看视频学物理"；(c) 把 VLM-as-judge 范式拓展到安全、风格、剧情一致性等其他对齐维度，构建通用可控视频生成框架；(d) 探索训练-free 的物理 control，如直接把仿真器轨迹作为 ControlNet 输入，无需在仿真视频上重训扩散模型。

复现评估

复现性整体中等偏难：代码方面作者仅放出了项目页 phyco-video.github.io，并未明确开源训练代码、ControlNet 权重或 PhyCo 数据集，外部研究者只能从视频 demo 定性复现；数据集层面，仿真基于 Kubric+PyBullet+Blender（均为开源），理论可复现，但 100K+ 视频的渲染在单卡上几乎不可行，需要 Blender 集群数日时间；算力方面 Stage 1 用 4×H100 GPU 训 10k 步约半，Stage 2 VLM 阶段用 8×H200 GPU 训 100 迭代约 70 分钟，再叠加 200 步 Qwen2.5-VL-3B LoRA 微调，总成本约数千 GPU·小时，对大多数实验室门槛很高；训练细节方面，作者给出了学习率 $2^{-14.5}$、batch size 8、57 帧、24 FPS 等关键超参以及 VLM 提示词模板（附录 E），但 ControlNet 内部结构遵循 Cosmos-Predict2-2B，需要先复现基模型。综合来看，数据集层面易复现、训练层面难复现、推理 demo 可直接看网页。

论文图表

PhyCo generates videos conditioned on spatial physical property maps, producing motion consistent with real-world dynamics.
Figure 1: PhyCo generates videos conditioned on spatial physical property maps, producing motion consistent with real-world dynamics.

上方一行展示单一物理属性（摩擦、恢复、形变、施加力）在低/中/高三档下的连续变化，下方一行展示多种属性的组合泛化（含卡通、风格化场景），左下角标注为 phyco-video.github.io 项目页链接。

这是论文 teaser 图，直接呈现 PhyCo 最核心卖点——"通过空间物理属性图实现连续可控的物理合成"，对快速建立直觉非常关键。

Illustration highlighting the impact of training FPS towards flickering artifacts on Cosmos-Predict base model.
Figure 11: Illustration highlighting the impact of training FPS towards flickering artifacts on Cosmos-Predict base model.

对比不同训练 FPS 下 Cosmos 基座的闪烁伪影，高 FPS 显著降低突变与抖动。

分析训练 FPS 与视频质量的关系，是改进生成稳定性的诊断性证据。

Figure 12: User study interface.

用户研究界面截图：左右两段视频让参与者在指定物理属性下二选一。

让读者理解 2AFC 偏好实验的具体操作方式，对评估用户研究可信度有意义。

Figure 13: Figure illustrating denoised network outputs with a blue sector overlay indicating the direction of the applied force.

在视频帧上叠加蓝色扇形以指示期望的施力方向，配合 VLM 的 sector adherence 问答模板，用于力方向控制评估。

解释 VLM 评估力方向时的可视化机制，是理解 Stage 2 力方向奖励的辅助图。