Phantom：基于视觉与潜在物理动力学联合建模的物理感知视频生成

双分支 flow matching 视频生成模型，联合建模视觉与 V-JEPA2 物理潜变量

前置知识

Flow Matching（流匹配）

Flow Matching 是基于 ODE 的生成建模框架，学习时变速度场 $u_\theta(x_t, t)$ 把源分布输运到目标分布。CFM 直接回归条件向量场 $u_t = x_1 - x_0$，损失即 MSE。

Phantom 建立在 Wan2.2-TI2V（flow-matching 型视频扩散模型）之上，联合生成过程遵循同一套 ODE 输运范式。

Latent Video Diffusion Model（潜在视频扩散模型）

先把视频用 VAE 编码到低维潜空间 $v$，在潜空间做扩散/flow matching 生成，最后解码回像素。Wan2.2-TI2V-5B 是代表工作，最高 $480 \times 832$、121 帧。

Phantom 把视觉与物理潜变量分别送入两个分支，必须理解视频 VAE 在像素-潜变量之间的转换机制。

V-JEPA2（视频联合嵌入预测架构 v2）

V-JEPA2 是 Meta 的自监督视频编码器（VJEPA2-ViT-H-fpc64-256 变体），其特征空间已被证明能编码物体恒存性、碰撞、重力等直觉物理概念。

Phantom 不显式预测物理量，而是在 V-JEPA2 隐空间里学习物理抽象，这直接决定了物理分支的表征能力上限。

Cross-Attention（交叉注意力）

Cross-Attention 让一个序列（query）从另一个序列（key/value）取信息。Phantom 在两分支对应深度插入 Vis-Attention 与 Phy-Attention 实现双向交换。

双向 cross-attention 是 Phantom 协调两条推理路径的关键机制，比直接拼接或单一注意力更稳定。

研究动机

近两年 Sora、Wan2.2、HunyuanVideo、CogVideoX 等大规模视频扩散模型在视觉逼真度上突飞猛进，但物理一致性仍很差。论文 Figure 1(a) 展示 Wan2.2-TI2V 生成「彩色橡胶球从高处落下」的篮球视频，球在触地后所有动量突然消失、静止在地面，违反动量守恒；Figure 1(b) 中玻璃杯的初始帧是空的，但 Wan2.2-TI2V 在没有任何倒水动作前就让果汁凭空出现在杯底。VideoREPA、PhyT2V 等前人工作表明：仅仅靠扩大数据/模型规模无法让模型学到可泛化的物理定律，模型本质是「case-based 模仿」而非「理解原理」，因为 next-frame 训练目标根本不显式强制物理一致性。

本文的目标是设计一个在生成过程中内生地建模物理动力学的视频生成框架，让模型既能保持 Wan2.2 的视觉先验，又能在 VideoPhy、VideoPhy-2、Physics-IQ 等物理基准上大幅提升 PC（Physical Commonsense）分数，同时不损失 VBench-2 上的视觉质量。具体目标：相对 Wan2.2-TI2V-5B 在 VideoPhy PC 上提升 50% 以上，在 Physics-IQ 单帧条件下提升 30% 以上。

与已有工作不同的是，已有三条思路各有硬伤：①外挂物理模拟器（PhysGen、PhysAnimator、MotionCraft）受限于引擎的保真度和假设，难以泛化到真实场景；②prompt 级/推理时 LLM 引导（PhyT2V、WISA、DiffPhy、VChain）不增加模型内禀物理理解，且推理开销大；③特征对齐（VideoREPA、REPA、VideoJAM）只做隐空间对齐，没有显式建模物理状态演化。Phantom 的切入点是「在统一生成过程中，把潜在物理状态作为一等公民与视觉一起联合去噪」，既不需要外部模拟器，也不依赖 prompt 精炼，还能让两个模态互相引导。

核心方法

直觉上，Phantom 把视频生成过程类比为「一边画、一边算」：传统扩散模型只负责「画」（视觉），Phantom 在旁边加了一个「算物理」的并行分支。技术路线上，以 Wan2.2-TI2V-5B 为冻结的视觉骨干，新增一个同构的物理分支，输入是用 V-JEPA2 抽取的「物理感知视频表征」$z_o \in \mathbb{R}^{T_z \times D_z}$，输出是未来时刻的物理潜变量 $z_f$。两分支都遵循 flow matching 范式（线性条件流），但共享文本 prompt $c$ 和时间步 $t$ 的条件信号，并通过两组对称的 cross-attention 互相读取对方隐藏状态。推理时两个潜空间同时从纯高斯噪声出发被 ODE 求解，最终视觉分支输出经 VAE 解码为像素，物理分支输出作为模型对场景动力学的「内心独白」被丢弃——它只为生成过程提供隐式引导。

核心创新是把「潜在物理状态」做成一个独立分支，用 V-JEPA2 这种已被验证具备直觉物理能力的编码器作为物理状态的隐式表征，并让视觉/物理两个分支通过双向 cross-attention 互相指导。本质区别在于：VideoREPA 等方法只把 V-JEPA 特征当作训练时的「对齐目标」（单向正则），而 Phantom 把 V-JEPA 空间提升为与视觉潜空间并列的「生成空间」——物理分支被显式地训练去预测未来物理潜变量 $u_t(z_t^f|z_1^f)$，并在 cross-attention 中影响视觉生成。这种「物理作为生成过程的一部分」而非「物理作为监督信号」的设计，是 Phantom 与所有先前工作的最本质区别。

方法步骤详情

①输入端：观测视频 $x_o$ + 文本 prompt $c$，并行编码得 $v_o = E_v(x_o)$（Wan2.2 VAE）与 $z_o = E_{\text{V-JEPA2}}(x_o)$。②随机抽 1~45 帧做条件帧（50% 概率不抽），条件帧时间步固定 $t=0$，沿时间维拼到 future 帧前。③双分支并行去噪：视频分支用 Wan2.2 DiT（冻结），物理分支为同构 DiT（从零初始化）；每块插入 Vis-Attention（视频读物理）与 Phy-Attention（反向）。④损失 $\mathcal{L}(\theta) = \mathcal{L}_v + \alpha_z \mathcal{L}_z$，$\alpha_z$ 由递归权重调度控制——缓慢上升、超阈值即重置为零，避免物理损失压垮视觉。⑤推理时双潜变量都从 $\mathcal{N}(0,I)$ 出发联合采样，只把视频潜变量解码成像素。⑥多帧条件扩展：改造 Wan2.2 单条件帧为任意帧数，支持 video-to-video。

技术新颖性

技术新颖性体现在三个层面：第一，结构上首次提出「视觉-物理双分支 latent flow matching」架构，把生成模型从单模态变成多模态协同；第二，训练策略上设计「递归损失权重调度」处理多任务学习的损失量级失配问题，比固定加权或 GradNorm 更稳定；第三，参数效率上只训练物理分支 + 两组 cross-attention（约占模型极小比例），冻结整个 5B 视觉骨干，在 4×H200 上就能完成 2 个 epoch 的微调。相比 VideoREPA 在 CogVideoX-5B 上的对齐式蒸馏，Phantom 用更激进的端到端联合去噪换来了显著更大的物理指标提升（VideoPhy PC +50.4% vs VideoREPA 的 -2.8% 倒退）。

**Figure 2**: Phantom Overview. Dual-branch latent flow-matching architecture with video branch (white) and physics branch (teal) coupled by dual cross-attention.

实验结果

Phantom 在三大物理基准全面超越 Wan2.2-TI2V-5B。Table 1：VideoPhy PC 从 25.2 升至 37.9（+50.4%），SA 从 41.5 升至 47.5（+14.5%）；VideoPhy-2 PC 从 69.20 升至 71.74（+2.6%），SA 从 24.53 升至 27.75（+13.1%）。Table 2：Physics-IQ 单帧 Score 从 22.10 涨到 29.59（+33.9%），Spatial IoU 从 0.164 涨到 0.245（+49.4%），MSE 从 0.010 降到 0.009；多帧条件下基线不支持，Phantom 仍取 27.53。Table 3：VBench-2 总分 51.57→51.84（+0.5%），其中 Physics +6.0%、Human Fidelity +2.7%、Controllability +9.4%。定性上（Figure 3），气球正确缩小、咖啡壶倒水无盖、海滩泡泡拉伸、粘稠液体层状折叠——这些是 Wan2.2 显著违反物理的场景。

**Table 1**: VideoPhy and VideoPhy2 Results. Semantic Adherence (SA) and Physical Commonsense (PC) on general-purpose and physics-focused T2V methods.

**Table 2**: Physics-IQ Results. Single-frame and multi-frame conditioning settings.

**Table 3**: Text-to-video evaluation on VBench-2. Best results in bold.

**Figure 3**: Qualitative comparison between Wan2.2-TI2V and our Phantom across diverse text-to-video and text/image-to-video scenarios.

查看结构化数据

任务	指标	本文	基线	提升
Text-to-Video (VideoPhy)	Physical Commonsense (PC)	37.9	Wan2.2-TI2V-5B: 25.2	+50.4%
Text-to-Video (VideoPhy)	Semantic Adherence (SA)	47.5	Wan2.2-TI2V-5B: 41.5	+14.5%
Text-to-Video (VideoPhy-2)	Physical Commonsense (PC)	71.74	Wan2.2-TI2V-5B: 69.20	+2.6%
Text-to-Video (VideoPhy-2)	Semantic Adherence (SA)	27.75	Wan2.2-TI2V-5B: 24.53	+13.1%
Physics-IQ (Single-Frame)	Physics-IQ Score	29.59	Wan2.2-TI2V-5B: 22.10	+33.9%
Physics-IQ (Single-Frame)	Spatial IoU	0.245	Wan2.2-TI2V-5B: 0.164	+49.4%
Physics-IQ (Multi-Frame)	Physics-IQ Score	27.53	无原生基线	首次支持多帧条件
VBench-2 Total	Overall Score	51.84	Wan2.2-TI2V-5B: 51.57	+0.5%
VBench-2 Physics	Physics Subscore	43.61	Wan2.2-TI2V-5B: 40.19	+6.0%
VBench-2 Composition	Composition	45.07	Wan2.2-TI2V-5B: 40.35	+11.7%

局限与改进

作者承认：①Creativity 子项总分从 52.50 跌到 45.51，根因是 Diversity 从 64.67 降到 45.95（Composition 反而 +11.7%）；②依赖 0.4M 的 OpenVidHD 子集，未在大规模数据上验证；③物理分支表征受 V-JEPA2 能力上限约束。我的额外观察：④Physics-IQ 多帧从 29.59 反而掉到 27.53，说明长程条件训练不充分；⑤物理分支从零初始化、视觉骨干完全冻结，物理分支难以获得对齐的语义理解；⑥评估只对比 Wan2.2，未与 Sora、HunyuanVideo 等更强模型同台竞技；⑦消融只对比 V-JEPA2 vs VideoMAEv2，未消融物理分支深度、cross-attention 头数等关键超参。

独立分析的弱点

独立分析的三个主要弱点及改进方向：①物理分支从零初始化且被冻结视觉骨干限制——冷启动的物理分支在梯度流中处于弱势，递归权重调度虽缓解但没根本解决。改进方向：可先用 V-JEPA 重建任务做物理分支的预训练，再联合微调；或对视觉骨干最后几层做部分解冻以打通梯度。②Creativity-Diversity 大幅下降（64.67→45.95）——物理一致性可能让生成变得「更确定、更同质」。改进方向：在物理分支注入随机噪声以保持多样性，或在物理潜变量上做 dropout；亦可在推理时对物理分支做 classifier-free guidance。③多帧条件训练不充分——条件帧数 1~45 随机采样会让模型难以学到长程物理。改进方向：固定一个比较长的条件帧数（如 11 帧以上）做对比训练，单独评测各档条件长度下的物理表现。④物理分支的物理量不可解释——V-JEPA2 隐空间虽然编码了物理概念，但没有对应到「速度」「加速度」「碰撞力」这种语义量。改进方向：在 V-JEPA 特征上加一层轻量 probe 头，预测显式物理量，让物理分支的输出可解释、可干预。

未来方向

作者在 Appendix D 已展示 Phantom 在 Force-Prompting 数据集上做「外部点力」控制的初步结果，把力信息编码为力张量视频送入物理分支。这条线值得扩展：①支持多物体、多接触的物理交互（刚体/软体混合）；②把 Phantom 扩展到更长视频（>121 帧）和更高分辨率（>832），当前硬件只允许 480×832×121；③用真实世界物理标注数据（如带轨迹标注的 Physion 数据集）做有监督物理训练，进一步提升 Physics-IQ；④探索把物理分支输出做成可操控的「物理 interface」，支持在推理时实时修改 latent 物理状态来干预视频走向；⑤把这种「物理 + 视觉」双分支范式推广到具身智能、机器人世界模型，让生成的视频能直接用于策略学习。

复现评估

复现难度中等偏高。论文已开源训练数据来源（OpenVidHD-0.4M，约 400K 高清视频-文本对）、评估协议（VideoPhy/VideoPhy-2/Physics-IQ/VBench-2 用官方 auto-evaluator）、超参数（AdamW, lr=4e-5, weight decay 1e-3, bs=128, 2 epochs）与硬件（4×NVIDIA H200）。项目页 plan-lab.github.io/phantom 提供代码权重（论文未明确公布）。门槛：①5B 模型必须 4×H200 全量微调，单卡几乎不可能；②V-JEPA2 编码额外占显存和前向开销；③recursive loss weight schedule 阈值 $\eta_z$ 未披露需自行 ablation；④VideoPhy/VideoPhy-2 官方 auto-evaluator 依赖 MLLM，API 成本不低。综合判断，对有 4×H200 算力的实验室 2~3 周可复现主要结果。

Phantom：基于视觉与潜在物理动力学联合建模的物理感知视频生成 Phantom: Physics-Infused Video Generation via Joint Modeling of Visual and Latent Physical Dynamics