VGGRPO：基于4D潜在奖励的世界一致性视频生成方法 VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward

VGGRPO的方法步骤分为两个主要阶段：潜在几何模型训练和VGGRPO训练。潜在几何模型训练：给定视频VAE编码器E，它将视频x = {I_i}_{i=1}^N映射到潜变量z = E(x)。给定预训练几何模型Φ = T_L ∘ T_{L-1} ∘ ... ∘ T_1，它由L个变换器层组成。为了绕过RGB输入路径，用学习的3D卷积连接器S_ψ替换Φ的前ℓ层，参数为ψ，将VAE潜变量直接映射到中间特征空间，得到潜在几何模型：\hat{Φ}_ψ = Φ_{ℓ+1:L} ∘ S_ψ。缝合层ℓ和参数ψ通过在M个视频的校准集上最小化特征对齐误差来找到：argmin_{ψ, ℓ∈{1,...,L}} (1/M) Σ_{m=1}^M ||S_ψ(E(x^m)) - Φ_{1:ℓ}(x^m)||^2。然后在RGB输入上通过最小化几何预测的对齐损失进一步微调ψ：L_align(ψ) = Σ_j λ_j ||\hat{Φ}_{ψ,j}(E(x)) - Φ_j(x)||_1，其中j索引预测的几何模态（如位姿C、深度D、点图P和场景流F）。最终的潜在几何模型直接从潜变量表示产生几何预测：{C_i, D_i, P_i, F_i}_{i=1}^N = \hat{Φ}_ψ(z)。VGGRPO训练：对于每个提示，从当前策略采样K个潜变量视频{z^k_0}_{k=1}^K，并用两个奖励对每个进行评分。相机运动平滑度奖励：从\hat{Φ}_ψ(z_0)预测的相机位姿C_i中提取世界帧相机中心c_i，计算离散速度v_i = c_{i+1} - c_i和加速度a_i = v_i - v_{i-1}。平移平滑度通过尺度归一化的加速度测量：e_trans(z_0) = (1/(T-2)) Σ_{i=2}^{T-1} ||a_i||^2/(||v_i||^2 + ||v_{i-1}||^2)。旋转平滑度使用角速度ω_i = log_{SO(3)}(R_i^T R_{i+1})和角加速度α_i = ω_i - ω_{i-1}以相同方式测量：e_rot(z_0) = (1/(T-2)) Σ_{i=2}^{T-1} ||α_i||^2/(||ω_i||^2 + ||ω_{i-1}||^2)。组合运动奖励为：r_motion(z_0) = 1/2 * (1/(1+e_trans(z_0)) + 1/(1+e_rot(z_0)))。几何重投影一致性奖励：从预测的世界帧点图{P_i}和深度{D_i}构建场景点云。对于静态场景，聚合所有帧的点；对于动态场景，使用预测的场景流F_i过滤动态区域并仅聚合静态点。使用预测的相机参数C_i将得到的点云投影到视图i，产生渲染的深度图\hat{D}_i。在有效投影像素上比较\hat{D}_i与预测深度D_i：e^{(i)}_geo(z_0) = (1/|Ω_i|) Σ_{p∈Ω_i} |\hat{D}_i(p) - D_i(p)|。几何奖励定义为3个最差视角上误差平均的负值：r_geo(z_0) = -1/3 Σ_{i∈top-3} e^{(i)}_geo(z_0)。由于r_motion和r_geo有不同的尺度，在组内分别归一化每个并形成平均优势：A^k = 1/2 * ((r_motion(z^k_0) - μ_motion)/σ_motion + (r_geo(z^k_0) - μ_geo)/σ_geo)，其中μ_motion, σ_motion（resp. μ_geo, σ_geo）是K个样本上每个奖励的均值和标准差。将A^k代入GRPO目标，在去噪潜变量z^k_t上计算重要性比率ρ^k_t(θ)，最大化：L_VGGRPO(θ) = (1/(KT)) Σ_{k=1}^K Σ_{t=0}^{T-1} [min(ρ^k_t(θ) A^k, clip_ε(ρ^k_t(θ)) A^k) - β D_KL(π_θ||π_ref)]。所有奖励都从\hat{Φ}_ψ(z_0)计算，无需解码RGB帧，产生高效的几何感知后训练管线。

VGGRPO的技术新颖性体现在多个方面。首先，它是第一个在潜在空间直接计算几何驱动奖励的方法，消除了先前方法中重复VAE解码的计算瓶颈。通过潜在几何模型将扩散潜变量与几何基础模型连接，VGGRPO能够从潜变量中高效提取几何信息，这一思路可以推广到其他需要几何约束的生成任务。其次，VGGRPO通过使用支持4D重建的几何模型（如Any4D）自然支持动态场景，而先前的几何对齐方法（Epipolar-DPO、VideoGPA）仅适用于静态场景，这一扩展使VGGRPO能够处理更广泛的视频生成场景。第三，两种互补奖励的设计提供了全面的几何约束：相机运动平滑度奖励关注时间一致性，几何重投影一致性奖励关注空间一致性，它们的组合比单独使用任一奖励产生更好的效果。最后，VGGRPO展示了潜在几何模型在测试时梯度引导中的应用，无需训练即可提高几何一致性，这表明潜在几何模型的实用价值超出了训练时对齐的范畴。

VGGRPO的一个主要弱点是依赖于几何基础模型的准确性。如果几何模型在某些场景类型上表现不佳（如极端光照、透明物体、反射表面），VGGRPO提取的几何信息可能不准确，从而影响奖励信号的质量。改进方向可以是集成多个几何基础模型或开发自适应机制来检测和处理几何预测不可靠的场景。另一个弱点是潜在几何模型的训练需要额外的数据和计算资源，虽然训练一次后可以重复使用，但对于新领域可能需要重新训练。可以考虑域自适应技术或在线学习机制来适应新场景。此外，测试时奖励引导虽然有效但增加了推理开销，可以通过更高效的引导策略或蒸馏技术将引导效果蒸馏到模型中。VBench动态程度略降表明平滑相机轨迹奖励可能过度抑制有意的动态效果，可以设计更细致的奖励函数，区分有益的动态运动和有害的相机抖动。最后，方法在极端复杂动态场景上仍有改进空间，可以考虑更精细的场景流建模或分层奖励设计，分别处理静态背景和动态前景的一致性约束。

作者提出了几个未来研究方向。首先，可以探索将VGGRPO扩展到其他生成任务，如图像生成、3D生成和跨模态生成，通过设计适当的几何一致性奖励和潜在几何模型。其次，可以研究更复杂的奖励函数，结合VLM或其他模态的奖励信号，提供更全面的生成质量评估。另一个方向是改进潜在几何模型，使其能够处理更复杂的几何变化（如拓扑变化、大规模非刚体变形）或支持更高的几何表示精度。此外，可以研究VGGRPO与其他对齐方法的结合，如DPO、RLHF，以利用不同方法的优势。测试时奖励引导的应用也可以进一步探索，包括交互式引导、用户偏好注入等场景。最后，随着几何基础模型的持续发展，VGGRPO可以受益于更强大、更通用的几何先验，进一步提高生成质量和一致性。

VGGRPO的复现需要考虑多个方面。论文提供了详细的实现细节：潜在几何模型通过缝合到Any4D几何基础模型构建，在混合视频（由基础扩散模型生成和来自DL3DV、RealEstate10K、MiraData的真实视频）上训练20个epoch。VGGRPO训练使用LoRA微调两个不同规模的文本到视频扩散骨干（Wan2.1-1B和Wan2.2-5B），rank r=32，缩放因子α=64，组大小G=64，AdamW优化器，学习率1×10^{-4}，权重衰减1×10^{-4}。训练提示从DL3DV、RealEstate10K和MiraData采样。算力需求方面，论文没有提供具体的GPU类型和训练时间，但考虑到需要训练大型视频扩散模型和潜在几何模型，预计需要多张高端GPU（如A100或H100）和数天到数周的训练时间。数据方面，需要获取DL3DV、RealEstate10K、MiraData数据集，这些数据集大多是公开可用的。代码的可用性没有明确说明，但如果作者不提供完整代码，复现难度会显著增加，因为需要实现复杂的模型缝合、GRPO训练管线和奖励计算。潜在几何模型和几何基础模型的对齐过程也需要仔细调优。总体而言，复现VGGRPO需要较强的技术背景、充足的计算资源和仔细的实现细节。