← 返回 2026-01-19

PhysRVG: 基于物理感知的统一强化学习视频生成模型 PhysRVG: Physics-Aware Unified Reinforcement Learning for Video Generative Models

Qiyuan Zhang, Biao Gong, Shuai Tan, Zheng Zhang, Yujun Shen, Xing Zhu, Yuyuan Li, Kelu Yao, Chunhua Shen, Changqing Zou 📅 2026-01-16 👍 11 2026-07-13 08:35
Flow Matching 刚体动力学 强化学习 物理感知 视频生成
arXiv HuggingFace PDF

首个将物理碰撞规则直接编码到高维空间的强化学习视频生成框架。

前置知识

Flow Matching

Flow Matching 是一种生成建模方法，它将生成过程视为从噪声到数据的去噪过程。给定真实数据 $x_0$ 和高斯噪声 $x_1$，中间样本 $x_t = (1-t)x_0 + tx_1$ 是两者的线性插值。生成模型学习预测速度场 $v = x_1 - x_0$，优化目标为 $\mathcal{L}(\theta) = \mathbb{E}_{t,x_0,x_1}[\|v - v_\theta(x_t, t)\|^2]$。这种方法相比扩散模型更直接，避免了复杂的噪声调度设计。

本文基于Wan2.2 5B模型进行改进，该模型使用Flow Matching作为基础生成框架，理解Flow Matching的去噪过程是理解MDcycle中Mimicry分支的前提。

强化学习 (Reinforcement Learning)

强化学习是一种通过与环境交互来学习最优策略的机器学习范式。在生成模型中，生成过程被视为马尔可夫决策过程（MDP），模型作为策略网络，每个去噪步骤对应一个动作，最终生成质量对应奖励信号。本文使用GRPO（Group Relative Policy Optimization）算法，通过比较同一条件下多个样本的相对表现来估计优势函数，避免训练单独的价值网络。

本文的核心创新是将强化学习引入视频生成模型，用物理感知的奖励函数替代传统的像素级重建损失，这是实现物理真实性的关键机制。

GRPO (Group Relative Policy Optimization)

GRPO是DeepSeek提出的强化学习算法，特别适合生成模型。给定同一条件 $c$ 生成的 $G$ 个样本 $\{x_i^0\}_{i=1}^G$，每个样本的优势值 $A_i^t$ 通过该样本奖励与组内平均奖励的差异除以标准差计算：$A_i^t = \frac{r(x_i^0, c) - \text{mean}(\{r(x_j^0, c)\}_{j=1}^G)}{\text{std}(\{r(x_j^0, c)\}_{j=1}^G)}$。策略优化目标包含重要性采样比率 $r_i^t(\theta)$ 和KL散度正则化项。

GRPO是本文实现物理感知强化学习的核心算法，它允许模型通过相对比较学习物理规则，而不需要绝对的物理真值。

刚体动力学 (Rigid Body Motion)

刚体动力学研究不发生形变的物体在力作用下的运动规律。刚体运动具有两个关键性质：可观察性（位置可通过坐标变换精确表示）和确定性（给定初始位置和速度，后续轨迹由牛顿力学唯一确定）。本文聚焦四种典型刚体运动：碰撞（collision）、摆锤（pendulum）、自由落体（free fall）和滚动（rolling）。

刚体运动是物理真实性的基础表示，其确定性和可观察性使其适合定量评估，这也是本文选择它作为核心研究对象的原因。

SAM2 (Segment Anything Model 2)

SAM2是Meta开发的图像和视频分割模型，能够根据提示（如点、框）生成精确的分割掩码。在本文中，SAM2用于从视频第一帧的标注坐标出发，自动生成整个视频中运动物体的掩码序列，从而提取物体轨迹。这是实现自动化物理分析的关键工具。

SAM2是本文方法实现自动化轨迹提取的核心组件，它使得从原始视频到物理度量的转换成为可能。

研究动机

现代基于Transformer的视频生成模型（如DiT架构）在像素级全局去噪过程中完全抛弃了物体刚性约束。即使数学约束完全正确，这些模型也只关注数据分布学习，忽略了条件对齐和特征提取中的时空物理线索。具体表现为：在刚体运动场景中，生成的视频出现轨迹不稳定、碰撞不真实、时间不连贯等问题。例如，在简单线性滚动中物体轨迹错误，在碰撞场景中出现撕裂、重叠和不自然的融合。现有方法试图通过三种途径解决：条件生成（依赖模拟器质量）、扩展训练数据（局限于数据集中的运动模式）、反馈学习（依赖主观评估且无法提供稳定物理监督）。这些方法都将物理定律视为辅助条件而非核心原则，导致网络优先考虑统计对齐而非物理一致性。

本文的目标是本文的目标是首次将物理碰撞规则直接编码到高维空间的强化学习范式中，确保物理知识被严格应用而非作为条件。具体而言，要实现：1）在PhysRVGBench上达到IoU≥0.6和TO≤20的物理一致性指标；2）保持或提升视觉质量（VBench得分不低于基线）；3）建立可扩展的框架，使物理知识能够通过强化学习被主动发现而非被动学习。

与已有工作不同的是，本文的独特切入角度在于：它不将物理知识作为输入条件或训练数据，而是将其编码为强化学习的奖励信号。具体而言，本文提出了"物理基础度量"（Physics-Grounded Metric），将运动掩码、轨迹偏移和碰撞检测整合到强化学习中，使模型能够内化准确的物理知识。更关键的是，本文发现了纯强化学习在视频生成中的收敛困难问题：模型在有限探索尝试内无法产生高质量输出，导致早期训练不稳定。为此提出了Mimicry-Discovery Cycle（MDcycle）框架，通过动态平衡数据驱动模仿和物理感知探索来解决这一根本矛盾。

核心方法

PhysRVG的方法可以类比为教一个画家画物理正确的运动场景：传统方法是让画家临摹大量照片（数据驱动），但画家不理解物理；PhysRVG则是先让画家临摹打基础（Mimicry阶段），然后通过物理公式计算画作的物理准确性并给予反馈（Discovery阶段），两个阶段循环交替（Cycle），最终画家既能画得好看又懂物理。技术路线上，首先将预训练的图像到视频（I2V）模型通过全参数微调转换为视频到视频（V2V）模型，建立基础的视觉生成能力。然后在第二阶段引入MDcycle框架：对于每个文本条件和上下文视频，模型生成一组样本，通过物理基础度量计算每个样本的奖励，根据组内平均表现决定使用模仿学习（Flow Matching损失）还是发现学习（GRPO强化学习）。这个框架允许模型在训练过程中动态调整数据驱动学习和物理感知学习的平衡。

PhysRVG的核心创新是将物理知识从"条件"提升为"奖励"。传统方法将物理定律作为输入条件（如物理模拟器的输出）或训练数据的一部分，模型只是被动学习这些条件对应的视觉模式。PhysRVG则设计了一个物理基础奖励函数，该函数基于牛顿力学原理（$F=ma$）检测碰撞事件，计算生成轨迹与真实轨迹的偏移，并通过时间权重强调关键物理时刻。更本质的区别在于MDcycle框架：它发现纯强化学习在视频生成中存在根本困难——视频空间维度极高，奖励信号微弱且模糊，优化景观包含许多误导方向。MDcycle通过阈值机制自适应切换模仿和发现：当模型表现差（平均轨迹偏移大于阈值）时，使用Flow Matching损失提供像素级监督稳定训练；表现好时，使用GRPO进行物理感知探索。这种设计使模型能够从"学会模仿"平稳过渡到"学会发现物理规则"。

方法步骤详情

PhysRVG的完整训练流程分为两个阶段。第一阶段：将预训练的Wan2.2 5B TI2V模型转换为V2V模型。输入是文本提示$c$和前$T_{obs}=5$帧上下文视频$I_{1:T_{obs}}$，目标是生成后续$T_{pred}$帧。使用全参数微调，优化Flow Matching损失$\mathcal{L}(\theta)$，训练16000步。第二阶段：在MDcycle框架下进行物理感知训练。对于每个训练样本，模型生成$G=20$个样本（使用相同初始噪声）。对每个样本，使用SAM2根据第一帧标注坐标提取运动掩码$M_{1:T}$，计算物体轨迹$p_{1:T} = \text{Center}(M_{1:T})$。检测碰撞事件：计算速度序列$v_n = \frac{p_n - p_{n-1}}{\Delta t}$和加速度序列$a_n = \frac{v_n - v_{n-1}}{\Delta t}$，通过加速度突变识别碰撞时刻$C$。计算加权轨迹偏移$O_c = \frac{1}{NT} \sum_{s=1}^N \sum_{t=T_{obs}}^T w_t \|p^t_{gt,s} - p^t_{sample,s}\|_2$，其中$w_t$为碰撞权重。奖励定义为$R = -O_c$。计算组内平均轨迹偏移$\bar{O}_c$，若$\bar{O}_c > \text{Threshold}$则进入Mimicry分支（添加Flow Matching损失），否则进入Discovery分支（使用GRPO优化）。训练250步，学习率$1 \times 10^{-5}$。

技术新颖性

PhysRVG的技术新颖性体现在三个方面。首先，它是首个将强化学习引入基于Flow Matching的视频生成模型的工作，通过将ODE采样转换为等效SDE采样（$dx_t = v_t dt + \sigma_t dw$），使GRPO能够应用于流匹配模型。其次，提出了物理基础度量，该度量结合了轨迹偏移（TO）和碰撞检测两个组件：TO通过SAM2提取的运动掩码计算帧级偏差，碰撞检测基于牛顿第二定律$F=ma$通过加速度突变识别关键物理时刻。这种度量是客观的、可验证的，不同于依赖MLLM或人类评估的主观反馈。第三，MDcycle框架是首个解决视频生成中强化学习收敛困难的系统方案。它发现视频生成模型在有限探索尝试内无法产生高质量输出，导致纯RL训练不稳定；通过阈值机制自适应平衡模仿和发现，使模型能够从数据驱动学习平稳过渡到物理规则发现。

Samples generated by PhysRVG. Our model produces videos with physically plausible rigid body dynamics. Rows1–4 display four fundamental types of motion addressed in our work, row5 validates the model’s generalization in out-of-distribution scenarios.
Figure 1: Samples generated by PhysRVG. Our model produces videos with physically plausible rigid body dynamics. Rows1–4 display four fundamental types of motion addressed in our work, row5 validates the model’s generalization in out-of-distribution scenarios.
The framework of PhysRVG. Given a text prompt and context frames, the model generates future video frames. For both the groundtruth and sampled frames, we derive motion masks M by prompting SAM2 with object coordinates p1 from the first frame, which are manually annotated during data preprocessing. We then compute object trajectories P and perform collision detection. The trajectory offset O between the sampled and groundtruth trajectories is calculated and reweighted by the collision signal wt to yield a weighted trajectory offset Oc, which serves as the per-sample score. All transformer blocks are trained with full parameters.
Figure 3: The framework of PhysRVG. Given a text prompt and context frames, the model generates future video frames. For both the groundtruth and sampled frames, we derive motion masks M by prompting SAM2 with object coordinates p1 from the first frame, which are manually annotated during data preprocessing. We then compute object trajectories P and perform collision detection. The trajectory offset O between the sampled and groundtruth trajectories is calculated and reweighted by the collision signal wt to yield a weighted trajectory offset Oc, which serves as the per-sample score. All transformer blocks are trained with full parameters.
(a) RL Training loss for samples of varying quality. (b) Number of samples assigned to the Mimicry and Discovery branches throughout MDcycle.
Figure 4: (a) RL Training loss for samples of varying quality. (b) Number of samples assigned to the Mimicry and Discovery branches throughout MDcycle.

实验结果

PhysRVG在多个评估维度上取得了显著成果。在物理真实性评估中，PhysRVG在PhysRVGBench上的IoU达到0.64，比最佳基线Magi-1的0.27提高了137%；TO降至15.03，比Magi-1的113.42降低了87%。在VideoPhy-2评估中，PhysRVG的SA（主观评分）达到0.76，PC（物理一致性）达到0.44，分别比最佳基线Kling2.5的0.70和0.41提高了8.6%和7.3%。在视觉质量方面，PhysRVG在VBench总分达到78.89，与最佳基线Kling2.5的78.77相当，且在动态程度（52.00 vs 57.14）和美学质量（41.36 vs 40.29）上表现更优。消融实验表明，MDcycle相比纯RL训练收敛更平稳，最终奖励更高；相比全参数微调（FT），IoU从0.38提升至0.64，TO从46.27降至15.03。碰撞检测机制的加入显著改善了物理一致性：在无碰撞检测时IoU为0.57，有碰撞检测时提升至0.64。超参数分析显示，SDE采样在高噪声区域（75%-100%）效果最佳，噪声强度$\sigma_t=1.0$时达到最优平衡，阈值设为8时MDcycle表现最好。

Quantitative comparisons with existing methods on Vbench, VideoPhy-2 (SA, PC) and PhysRVGBench (IoU, TO). The best results are shown in bold, and the second best are underlined.
Table 1: Quantitative comparisons with existing methods on Vbench, VideoPhy-2 (SA, PC) and PhysRVGBench (IoU, TO). The best results are shown in bold, and the second best are underlined.
(a) Ablation Study of Training Strategies. FT denotes full-parameter fine-tuning, and MD denotes MDcycle. (b) Hyperparameter Analysis of the Collision Weight. The best configuration is marked in gray.
Table 2: (a) Ablation Study of Training Strategies. FT denotes full-parameter fine-tuning, and MD denotes MDcycle. (b) Hyperparameter Analysis of the Collision Weight. The best configuration is marked in gray.
Qualitative comparisons with existing methods. Each sample in the figure corresponds to the final frame of a generated video. We include the original videos for all cases in the Supplementary Materials.
Figure 5: Qualitative comparisons with existing methods. Each sample in the figure corresponds to the final frame of a generated video. We include the original videos for all cases in the Supplementary Materials.
Ablation Study of the Collision Detection.
Figure 6: Ablation Study of the Collision Detection.
(a) Reward Curve of RL and MDcycle. (b)(c)(d) Metric Distribution under different training strategies.
Figure 7: (a) Reward Curve of RL and MDcycle. (b)(c)(d) Metric Distribution under different training strategies.
查看结构化数据
任务指标本文基线提升
物理真实性评估 IoU (Intersection over Union) 0.64 0.27 (Magi-1) +137%
轨迹准确性 TO (Trajectory Offset) 15.03 113.42 (Magi-1) -87%
主观物理评分 SA (Subjective Rating) 0.76 0.70 (Kling2.5) +8.6%
物理一致性 PC (Physical Consistency) 0.44 0.41 (Kling2.5) +7.3%
视觉质量 VBench Total Score 78.89 78.77 (Kling2.5) +0.15%

局限与改进

PhysRVG存在几个明显的局限性。首先，奖励函数仅关注运动物体的轨迹，对物体颜色、场景中其他物体的存在或行为、物体形状等属性没有监督。这导致生成的视频中出现物体碰撞后变色、场景中出现额外物体等问题（如论文Figure 14所示）。其次，MDcycle的阈值选择是经验性的，需要针对不同任务进行调参，缺乏自动调整机制。第三，训练数据中高质量刚体运动数据相对稀缺，仅约700个手动标注的视频样本，这可能限制了模型在更复杂物理场景中的泛化能力。第四，模型在推理时需要SAM2进行运动掩码提取，增加了计算开销，且SAM2的分割质量直接影响轨迹计算的准确性。最后，本文聚焦于刚体运动，对于软体变形、流体动力学等更复杂的物理现象未做探索。

独立分析的弱点

PhysRVG的主要弱点包括：1）奖励函数的不完整性：当前奖励仅基于轨迹偏移和碰撞检测，忽略了视觉外观的一致性。例如，物体在碰撞后可能改变颜色或纹理，但奖励函数不会惩罚这种情况。改进方向是设计多尺度奖励，结合外观相似性（如特征匹配）和物理一致性。2）阈值敏感性：MDcycle的阈值需要手动调整，不同物理场景可能需要不同阈值。可以设计自适应阈值机制，根据训练进度或模型置信度动态调整。3）数据稀缺性：高质量刚体运动数据仅700个样本，可能不足以覆盖所有物理场景。可以通过物理模拟器生成更多样化的训练数据，或使用数据增强技术。4）推理效率：MDcycle在推理时需要SAM2进行掩码提取，增加了延迟。可以探索端到端的方法，直接从视频预测轨迹而无需显式分割。

未来方向

基于PhysRVG的成果，未来研究可以从几个方向展开。首先，将物理感知强化学习扩展到更复杂的物理现象，如软体变形、流体动力学、多物体交互等，这需要设计相应的物理基础度量。其次，探索自动化的阈值调整机制，使MDcycle能够自适应不同任务和训练阶段。第三，结合大规模语言模型（LLM）进行物理推理，例如让LLM分析视频中的物理错误并生成改进提示。第四，将PhysRVG应用于实际领域，如机器人模拟、物理教育、游戏开发等，验证其在真实场景中的价值。最后，研究如何将物理知识与语义理解结合，使生成的视频既物理正确又符合高层语义意图。

复现评估

PhysRVG的复现性较好，作者承诺将公开代码和检查点。训练数据包括开源数据集（Panda-70M、InternVid、WebVid-10M）和专有数据，其中专有数据包括游戏录像、在线视频和自采数据，但核心的物理标注数据（约700个样本）的获取和标注是复现的关键挑战。算力需求方面，训练在32块80G H20 GPU上进行，第一阶段16000步，第二阶段250步，总GPU小时估计在数千小时级别。复现难度中等：需要熟悉Flow Matching、GRPO算法和SAM2的使用；物理标注需要手动标注第一帧坐标并运行SAM2生成掩码；碰撞检测算法相对简单，基于加速度突变检测。建议复现者从较小的模型和数据集开始验证核心想法。

论文图表

The core idea of PhysRVG. DiT-based video generative models reconstruct noisy videos in latent space using Flow Matching loss, which only captures data distributions but discards essential spatio-temporal physical cues during conditional alignment and feature extraction, thereby hindering stable learning of physical knowledge. While reinforcement learning with subjective ratings can train on physics-rich video data using RL-based feedback, its evaluation remains perceptually biased and fails to provide stable physical supervision. In contrast, our PhysRVG leverages the MDcycle to fully utilize data for visual refinement and enforces physical knowledge injection through the Physics-Grounded Metric, enabling stable retention and active discovery of physical principles for truly physics-aware learning and generation.
Figure 2: The core idea of PhysRVG. DiT-based video generative models reconstruct noisy videos in latent space using Flow Matching loss, which only captures data distributions but discards essential spatio-temporal physical cues during conditional alignment and feature extraction, thereby hindering stable learning of physical knowledge. While reinforcement learning with subjective ratings can train on physics-rich video data using RL-based feedback, its evaluation remains perceptually biased and fails to provide stable physical supervision. In contrast, our PhysRVG leverages the MDcycle to fully utilize data for visual refinement and enforces physical knowledge injection through the Physics-Grounded Metric, enabling stable retention and active discovery of physical principles for truly physics-aware learning and generation.

对比了三种方法：传统Flow Matching（只学分布，忽略物理）、基于主观反馈的RL（有偏且不稳定）、PhysRVG的MDcycle（结合数据利用和物理注入）。用✓和%符号直观展示各方法的优缺点。

这张图清晰传达了PhysRVG的核心创新点——将物理知识从条件提升为奖励，并通过MDcycle解决RL在视频生成中的收敛困难。

Table 3: Hyperparameter Analysis. All comparisons are conducted under the same data and GPU-hours budget. (a) SDE Interval. (b) Noise Intensity σt. (c) Threshold in Eq. (10). (d) Training Steps. The best configuration is marked in gray.

分析了关键超参数的影响：SDE采样区间、噪声强度、MDcycle阈值和训练步数。结果显示SDE在高噪声区域最佳，噪声强度1.0最优，阈值8最平衡，训练步数16000达到饱和。

为复现和调参提供了重要参考，展示了超参数选择的合理性。

Table 4: Training Configuration

列出了PhysRVG的完整训练配置，包括视频分辨率、帧数、优化器、学习率、训练设备、批大小等关键参数。

提供了复现所需的详细配置信息。