PhyGDPO：物理感知组直接偏好优化用于物理一致的文本到视频生成 PhyGDPO: Physics-Aware Groupwise Direct Preference Optimization for Physically Consistent Text-to-Video Generation
通过物理感知数据管道和组式DPO框架提升视频生成的物理一致性
前置知识
直接偏好优化（DPO）
直接偏好优化是一种无需训练奖励模型的强化学习方法。传统RLHF需要先训练奖励模型再优化策略，而DPO直接从偏好数据中学习，通过最大化正确对的概率来优化模型。DPO的核心思想是用策略模型的log比率替代奖励函数，从而消除了对显式奖励模型的依赖。在视频生成中，DPO通过比较偏好样本和被拒绝样本来优化生成质量。
本文的核心方法基于DPO框架，理解DPO是理解PhyGDPO的基础。本文对DPO进行了多个方面的改进，包括从成对比较扩展到组比较、使用真实视频作为正样本、引入物理引导奖励等，都需要先理解标准DPO的工作原理。
Plackett-Luce概率模型
Plackett-Luce模型是一种用于对排名数据建模的概率模型。与只能处理两个选项成对比较的Bradley-Terry模型不同，Plackett-Luce可以处理一组候选项的完整排名。给定一组候选项，它假设每个候选项被选择为排名第一的概率与其内在价值的指数成正比。本文将PL模型用于组式DPO，用一个真实视频和多个生成视频组成一组，通过最大化真实视频的排名概率来优化模型。
本文的核心创新之一是将传统的基于Bradley-Terry成对比较的DPO扩展到基于Plackett-Luce的组式DPO。这使得模型能够从全局偏好信号中学习，而不是孤立的单对比较。理解PL模型对理解为什么这种方法能更好地捕捉物理一致性的整体优势信号至关重要。
Flow Matching
Flow Matching是一种生成模型训练范式，不同于扩散模型的逐步去噪。Flow Matching直接学习从噪声分布到数据分布的连续路径，通过训练神经网络预测最优速度场。本文采用rectified flow matching，通过公式 $x_t = (1-t)x_0 + tx_1$ 构建线性轨迹，其中 $x_1 \sim \mathcal{N}(0, I)$ 是噪声，$x_0$ 是数据。反向过程通过 $x_{t-h} = x_t - h \cdot u^*(x_t, t | c)$ 更新，其中 $u^*$ 是预言速度场。
本文的PhyGDPO框架是基于flow matching的T2V模型（Wan2.1）进行优化的。DPO优势计算需要从flow matching的概率建模出发推导。论文中展示了如何将DPO损失函数从扩散模型推广到flow matching模型，这是实现PhyGDPO的技术基础。
LoRA（Low-Rank Adaptation）
LoRA是一种高效的模型微调方法，通过在预训练模型的权重矩阵上添加低秩分解的可训练参数来适应新任务。具体来说，对于权重矩阵 $W \in \mathbb{R}^{C_{out} \times C_{in}}$，LoRA添加 $\Delta W = BA$，其中 $B \in \mathbb{R}^{C_{out} \times r}$ 和 $A \in \mathbb{R}^{r \times C_{in}}$，$r \ll \min(C_{out}, C_{in})$。LoRA大大减少了可训练参数数量，同时保持了模型性能。本文还设计了LoRA-SR机制，通过环境管理器动态切换reference和action模式。
本文的LoRA-SR是关键创新之一，解决了传统DPO需要复制整个模型作为reference的内存问题。通过LoRA-SR，reference和action模型共享同一backbone，只切换轻量级的LoRA参数，节省了44%的GPU内存。理解LoRA是理解这一创新的基础。
链式思维（Chain-of-Thought, CoT）
链式思维是一种提示策略，要求大模型在给出最终答案之前展示其推理过程。通过将复杂问题分解为多个中间推理步骤，模型能够更好地处理需要多步推理的任务。本文设计了特定的CoT规则，指导VLM按照元素解析、视觉检查、物理推理、数据评分、提示扩展五个步骤来分析视频的物理丰富度，并最终用0-1的分数进行量化评估。
本文的PhyAugPipe数据构建管道完全依赖于VLM的CoT推理来筛选物理丰富的视频。CoT使得VLM能够系统地分析视频中的物理元素、交互和现象，而不是简单依赖直觉判断。理解CoT有助于理解本文如何构建高质量的物理数据集。
研究动机
现有文本到视频（T2V）生成模型虽然取得了显著进展，但生成符合物理规律的视频仍然是一个开放挑战。图形学方法依赖仿真引擎指定物理参数，如完全弹性碰撞和基本刚体动力学，但实际场景过于复杂难以参数化，无法应用于真实世界场景。基于LLM prompt扩展的方法使用大语言模型扩展包含明确物理定律和现象的提示，但这类方法只是将LLM作为代理大脑外包推理过程，缺乏真正的物理思维能力。更重要的是，当前T2V模型的prompt跟随能力有限，LLM的物理推理能力也较弱且经常出错，反而可能误导T2V模型。即使是最先进的闭源模型如OpenAI Sora2和Google DeepMind Veo3.1在复杂人体运动或物理现象上也经常失败，如图1、4、5、6所示。关键原因在于缺乏负训练数据来提供对比信号以阻止物理不一致的生成。
本文的目标是本文的目标是提高文本到视频生成模型的物理推理能力，使其生成的视频能够更忠实地遵循物理定律。具体而言，作者希望解决T2V模型在建模物理动力学方面的局限性，使视频生成模型更接近真实世界模拟器，从而造福游戏、自动驾驶、机器人、电影制作等广泛应用。作者不使用LLM进行推理时的prompt扩展，因为目标是探索视频生成模型本身的隐式物理推理能力。为此，作者提出构建物理丰富的训练数据集，并设计新的直接偏好优化框架来专门优化物理一致性。
与已有工作不同的是，本文的独特切入角度在于首次从数据构建和训练框架两个层面系统性解决物理一致性问题。与现有工作依赖图形仿真或LLM prompt扩展不同，本文采用filtering-based策略，利用VLM从真实世界视频中筛选物理丰富的场景。更重要的是，本文识别出传统DPO在物理应用中的三个根本性问题，并针对性地提出了创新解决方案：一是数据层面构建PhyVidGen-135K数据集，二是方法层面提出基于Plackett-Luce的组式DPO（GDPO）来捕捉全局物理优势信号，三是效率层面提出LoRA-SR方案避免全模型复制。这种端到端的系统性解决方案是本文与现有工作的本质区别。
核心方法
本文提出一个完整的物理感知视频生成优化框架，包含数据构建和训练方法两个核心部分。整体思路是先构建包含丰富物理交互和现象的文本-视频数据对，然后通过专门的DPO训练框架来提升模型的物理一致性。数据层面，作者设计了PhyAugPipe管道，利用VLM的链式思维推理从大规模T2V数据池中过滤出物理丰富的视频，然后通过动作聚类和物理奖励采样构建训练数据集PhyVidGen-135K（包含135K文本-视频对）。方法层面，作者提出了PhyGDPO框架，核心思想是将传统的成对DPO扩展到组式DPO，使用真实视频（总是遵循物理定律）作为获胜样本，多个生成视频作为失败样本，基于Plackett-Luce概率模型最大化真实视频的排名概率。此外，作者设计了物理引导奖励（PGR）方案来让训练专注于具有挑战性的物理案例，以及LoRA-SR方案来提高训练效率和稳定性。
本文有三个核心创新点，与已有方法有本质区别。第一，数据构建方面，PhyAugPipe是首个利用VLM CoT推理系统性构建物理丰富视频数据集的pipeline。与依赖仿真或LLM重写的方法不同，本文的filtering-based策略确保数据的正确性由真实视频保证，VLM只影响物理丰富度而非正确性。第二，训练框架方面，PhyGDPO是首个基于Plackett-Luce概率模型的组式DPO用于视频生成。与vanilla DPO使用生成视频作为获胜样本不同，本文使用真实视频作为获胜样本，保证了正确物理学习的基础；与Bradley-Terry成对比较不同，组式比较能够捕捉整体物理优势信号而非孤立的单对信号。第三，效率方面，LoRA-SR是首个针对DPO的LoRA切换参考方案。与vanilla DPO需要复制整个模型作为reference不同，本文冻结backbone作为reference，通过环境管理器动态切换LoRA实现reference和action模式的灵活切换，节省了44%的GPU内存。
方法步骤详情
方法包含完整的数据构建和模型训练流程。数据构建阶段，PhyAugPipe从大规模T2V数据池开始，首先使用Qwen2.5-72B-Instruct VLM按照设计的CoT规则进行元素解析、视觉检查、物理推理、数据评分和提示扩展，计算物理丰富度分数（0-1），然后通过阈值过滤得到物理丰富的文本-视频对。接着使用sentence Transformer对过滤后的数据进行动作聚类，匹配预定义的挑战性动作类别，得到每个类别的数据分布。然后使用物理感知VLM VideoCon-Physics评估每个动作类别的难度，根据难度采用指数加权采样策略 $r_k = \exp(\tau d_k)$ 分配更多样本到困难类别，最终构建PhyVidGen-135K数据集。模型训练阶段，首先使用预训练的Wan2.1-14B T2V模型为17K文本提示生成多个随机种子视频，然后构建训练组：每个组包含一个真实视频作为获胜样本和多个生成视频作为失败样本。对于每个组，计算基于Plackett-Luce概率模型的DPO损失 $L_{GDPO}(\theta) = \mathbb{E}_{c, G_l(c), k, j}[-\sum_j \gamma_j \log \sigma(-\alpha_j \beta T[(\ell_w^\theta - \ell_w^\psi) - (\ell_{lj}^\theta - \ell_{lj}^\psi)])]$，其中 $\ell$ 是flow matching的预测误差，$\alpha_j, \gamma_j$ 是由物理引导奖励计算的参数。训练时使用LoRA-SR方案动态切换reference和action模式计算advantage，采用AdamW优化器在8块H100 GPU上训练10K步，batch size为8，学习率从$1 \times 10^{-5}$余弦退火到$1 \times 10^{-6}$。
技术新颖性
本文的技术新颖性体现在多个方面。理论层面，首次将DPO从Bradley-Terry成对模型推广到Plackett-Luce组模型，并严格推导了从组模型到单样本训练的上界，通过不等式 $(1 + \sum_j e^{x_j}) \leq \prod_j (1 + e^{\alpha_j x_j})^{\gamma_j}$（$0 < \alpha_j \leq 1, \gamma_j \geq 1/\alpha_j$）实现了高效的单样本训练。损失函数方面，首次将DPO损失从扩散模型推广到flow matching模型，通过近似 $p_\theta(x_{t-h}|x_t, c) \approx \mathcal{N}(x_t - h v_\theta(x_t, t, c), \varepsilon I)$ 并令 $\varepsilon \to 0$ 得到最终的flow matching版本损失函数。工程层面，LoRA-SR通过 $Y = X(W + \mathbb{I}_{action} \cdot BA)^\top$ 实现了reference和action模型共享backbone，其中 $\mathbb{I}_{action} \in \{0, 1\}$ 是由环境管理器控制的二进制指示器。数据层面，PhyAugPipe是首个系统性的物理感知视频数据构建pipeline，结合了VLM CoT推理、动作聚类和物理奖励采样三个创新组件。实验方面，本文进行了消融研究验证了每个组件的有效性，并进行了跨VLM评估（使用Gemini-2.5-pro）和跨T2V模型评估（Vcrafter2）证明了方法的泛化能力。
实验结果
本文在物理一致性视频生成任务上取得了显著突破。首先，在数据构建方面，PhyAugPipe从100万高质量文本-视频对中过滤出135K物理丰富的数据对，进一步采样得到17K训练数据。消融实验显示，逐步应用CoT过滤、动作聚类和物理奖励采样后，VideoPhy2数据集的hard动作分数从0.0333提升到0.0500，overall分数从0.1475提升到0.1627，提升了50%以上，验证了数据构建方法的有效性。在VideoPhy2基准测试上，PhyGDPO在hard、activity、interaction和overall四个track上均超越了所有基线方法，包括最新的闭源模型Sora2和Veo3.1。具体而言，PhyGDPO的hard分数达到0.0500，比基线模型Wan2.1-14B（0.0111）提升4.5倍，比Sora2（0.0389）提升29%，比Veo3.1（0.0444）提升13%。在PhyGenBench基准测试上，PhyGDPO在mechanics、optics、thermal、material四个物理域上的平均分数为0.55，超过Sora2的0.50和Veo3.1的0.54，在mechanics和thermal上分别提升了22%和35%。用户研究方面，104名参与者对PhyGDPO与8个基线方法进行了盲测，结果显示PhyGDPO在物理真实性上获得86.5%-94.2%的用户偏好，所有结果的95%置信区间都不超过±2.4%。消融研究显示，逐步应用LoRA-SR、groupwise模型和physics rewarding后，hard分数从0.0111提升到0.0500，overall分数从0.1288提升到0.1627。与SOTA DPO方法的比较显示，PhyGDPO在Wan2.1-1.3B上超越Flow-DPO和VideoDPO，hard分数达到0.0444，比VideoDPO（0.0278）提升60%。LoRA-SR的消融实验显示，使用LoRA-SR节省了44%的GPU内存（从48.7GB降到25.3GB），存储空间节省了60倍（从5.3GB降到84MB），同时hard分数从0.0389提升到0.0444。跨VLM评估使用更强的评估器Gemini-2.5-pro，PhyGDPO的overall分数为0.5525，仍超越所有基线，证明方法学习的是真正的物理而非VLM偏好。跨T2V模型评估在Vcrafter2上进行，PhyGDPO的overall分数为0.1426，超越Flow-DPO（0.1128）和VideoDPO（0.1373），证明方法的泛化能力。超参数分析显示，最优配置为 $\alpha_{min} = 0.5, k_\alpha = 5.0, b_\alpha = 0.5, \lambda = 0.6, k_\gamma = 2.0, b_\gamma = 0.4$，在此配置下overall分数达到0.1627。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VideoPhy2 Hard Actions | 分数（ratio with both scores ≥ 4） | 0.0500 | Wan2.1-14B: 0.0111 | 提升4.5倍 |
| VideoPhy2 Overall | 分数（ratio with both scores ≥ 4） | 0.1627 | Wan2.1-14B: 0.1288 | 提升26% |
| PhyGenBench Average | 平均分数（覆盖27个物理定律） | 0.55 | Sora2: 0.50 | 提升10% |
| GPU Memory Usage | 显存占用（GB） | 25.3GB | w/o LoRA-SR: 48.7GB | 节省44% |
| User Preference vs VideoDPO | 用户偏好率（%） | 89.4% | VideoDPO: - | 显著偏好 |
局限与改进
作者在论文中承认了一些局限性。首先，PhyAugPipe是filtering-based策略，VLM评分只影响物理丰富度而非正确性，这意味着数据构建过程可能不够全面。其次，训练过程需要6天在8块H100 GPU上，计算资源需求较高。此外，作者承认论文没有使用LLM进行推理时的prompt扩展，这意味着本文方法无法与LLM-guided T2V方法互补。从观察来看，方法还可能存在以下局限性：第一，物理丰富度评分基于VLM的主观判断，可能存在偏差或文化差异；第二，组式DPO需要生成多个随机种子视频，增加了推理成本；第三，方法主要验证在Wan2.1模型上，在其他T2V架构上的泛化性需要进一步研究；第四，物理一致性评估主要依赖VLM自动评估器，可能存在评估偏差；第五，研究主要关注物理一致性，但未明确评估视觉质量和多样性是否受到影响；第六，数据构建pipeline假设真实视频总是遵循物理定律，但在某些极端场景下可能不成立。
独立分析的弱点
从独立分析的角度，本文存在几个可以改进的弱点。第一，数据评估方面，物理丰富度评分完全依赖VLM（Qwen2.5-72B）的CoT推理，可能存在模型偏差。改进方向是引入多个不同架构的VLM进行集成评分，或结合人工标注进行校准。第二，训练成本方面，6天8块H100的训练成本对于大多数研究团队来说较高。改进方向是探索更高效的训练策略，如课程学习、渐进式训练或知识蒸馏。第三，评估方法方面，主要依赖VLM自动评估器，虽然进行了跨VLM评估，但仍可能存在评估偏差。改进方向是引入更多人工评估、物理仿真器评估或下游任务评估。第四，泛化性方面，虽然进行了跨T2V模型评估，但只在两个模型上验证。改进方向是扩展到更多T2V架构（如基于U-Net的扩散模型）以验证方法的普适性。第五，物理现象覆盖方面，主要验证了有限类型的物理现象（如体操、足球、篮球、玻璃破碎、水折射、纸张燃烧）。改进方向是扩展到更多物理领域（如电磁学、量子效应、复杂流体动力学）。第六，实时性方面，inference时需要生成多个随机种子视频用于组式DPO，增加了延迟。改进方向是探索不需要多采样的训练方法或推理时的高效近似。
未来方向
作者在论文中提出了一些未来研究方向，包括将PhyGDPO应用到其他视频生成任务（如可控生成、风格迁移）、探索更多物理感知奖励机制、以及研究如何在inference时结合LLM进行物理推理指导。基于本文的成果，可以延伸出以下研究方向：第一，将PhyGDPO框架扩展到其他生成模态，如图像生成（DiffusionDPO）、3D生成、音频生成，探索物理一致性在其他模态中的定义和评估方法。第二，研究多目标优化，同时优化物理一致性、视觉质量、多样性和语义对齐，探索不同目标之间的权衡关系。第三，探索更强的物理感知模型，如结合物理仿真器、物理符号推理或神经物理模型，实现更深层次的物理理解。第四，研究在线学习或持续学习，使模型能够从用户反馈中持续改进物理一致性。第五，探索更高效的训练方法，如分布式训练、模型并行、或利用预训练的物理知识进行初始化。第六，研究物理一致性的可解释性，分析模型学到的物理表示和推理过程，为AI的物理理解提供洞见。第七，探索在安全关键领域（如自动驾驶、机器人控制）中的应用，验证物理一致性提升对实际任务的帮助。第八，研究如何平衡学习显式物理规律和隐式物理推理，探索两种能力的协同作用。
复现评估
论文提供了较为详细的实现细节，有利于复现。数据构建方面，作者详细描述了PhyAugPipe的五个步骤和CoT规则的具体内容，包括元素解析、视觉检查、物理推理、数据评分和提示扩展的具体要求。模型训练方面，作者提供了完整的超参数设置：训练10K步，batch size为8，使用AdamW优化器（$\beta_1 = 0.9, \beta_2 = 0.999$），权重衰减为0.01，学习率从$1 \times 10^{-5}$余弦退火到$1 \times 10^{-6}$，空间分辨率为$480 \times 832$。LoRA的rank为48，scale factor默认值。物理奖励的超参数为 $\tau = 3, N = 20000, \alpha_{min} = 0.5, k_\gamma = 2.0, b_\gamma = 0.4, \lambda = 0.6, k_\alpha = 5.0, b_\alpha = 0.5$。算力需求方面，训练需要8块H100 GPU，训练时间6天，显存占用25.3GB（使用LoRA-SR）。论文提供了项目页面（https://caiyuanhao1998.github.io/project/PhyGDPO），但未明确说明代码和数据集的开放情况。复现难度中等偏高，主要挑战在于算力需求（8块H100 GPU）和VLM API调用成本（Qwen2.5-72B和VideoCon-Physics）。建议作者提供数据过滤后的数据集子集、预训练模型checkpoint和详细的训练脚本以降低复现难度。
论文图表
