Geo-Align：基于度量几何奖励的视频生成对齐方法

首个用强化学习做相机控制视频重拍的框架，用度量3D评估器约束相机轨迹精度。

前置知识

相机控制视频重拍 (Camera-Controlled Video Retake)

给定一段条件视频和一条目标相机轨迹，模型需要合成沿新轨迹运动的新视角视频，本质是 video-to-video 生成任务。与单图条件方法不同，重拍需要多视角监督数据。

这是论文核心任务设定，理解它才能明白为什么需要解决多视角数据稀缺、相机尺度模糊这两个瓶颈。

Group Relative Policy Optimization (GRPO)

一种在线强化学习算法，去掉传统 PPO 中显存占用大的 value model，用同一 prompt 采出的 G 个样本的相对分数做 advantage，公式为 $\hat{A}^{(j)}_k = (r^{(j)}_k - \mu_k) / \max(\sigma_k, \epsilon)$。

本文整体训练框架建立在 GRPO 之上，理解 advantage 的组内归一化方式是看懂奖励聚合和稳定化策略的前提。

Flow Matching 与 SDE 采样

Flow matching 是一类连续时间生成建模方法，学习速度场 $\hat{v}_\theta = W_\theta(z_t,t,C)$；Flow-GRPO 用 ODE-to-SDE 转换把它接入在线 RL，MixGRPO 进一步用滑动窗口混合采样加速视频训练。

论文基于 Wan2.1 1.3B 的 flow matching 模型做后训练，读者需要理解为什么 video 强化学习需要这种特殊采样机制，以及为什么 group size $G=12$ 已相对昂贵。

度量 3D 重建 (Metric 3D Reconstruction)

从图像直接回归稠密点图、相机内外参和深度的前馈模型。代表性工作 MapAnything 把相机位姿和深度解耦为尺度无关分量 + 显式全局尺度，能在无 test-time 优化的情况下输出真实物理尺度的轨迹。

论文把 MapAnything 冻结后用作「判卷老师」，从生成视频中恢复相机轨迹并和目标轨迹对比，是几何奖励的核心。

奖励黑客 (Reward Hacking)

强化学习中模型通过走捷径获得高奖励但偏离真正目标的现象。本文若只优化几何奖励，可能出现「生成形状正常但几乎不动」的视频来欺骗评估器；作者引入美学奖励和 metric-aware 数据采样来缓解。

它是论文反复强调的设计动机，理解它能解释为什么需要多维奖励融合、KL 惩罚移除、截断高斯采样等看似冗余的设计。

研究动机

当前的相机控制视频重拍范式主要依赖监督微调（SFT），需要时间严格对齐的多视角视频数据。ReCamMaster、ReDirector 等隐式方法只能依赖 Unreal Engine 渲染的合成数据集，TrajectoryCrafter、CogNVS 等显式 warping 方法则依赖点云渲染合成目标视频。然而多视角真实视频极其稀缺，导致 SFT 模型在真实视频推理时出现明显的 domain shift，无法准确遵循物理尺度和相机轨迹。具体表现为两大瓶颈：(1) 数据稀缺：重拍任务需要多视角视频，而真实场景中几乎不存在这种数据；(2) 度量模糊 (Metric Ambiguity)：现有真实视频的相机位姿标注往往是 scale-less 的，即使是 ReCamMaster 构建的 MultiCam-Video 也只对合成数据提供度量信息；标准 SFT 损失只做像素级或特征级重建，不能显式优化 metric-level 的相机对齐，导致生成轨迹出现 scale drift。

本文的目标是提出 Geo-Align，一个专门为相机控制视频重拍设计的强化学习框架，直接优化物理对齐和视觉质量。具体目标包括：(1) 设计基于度量 3D 评估器的可验证几何奖励，显式约束旋转和平移偏差；(2) 摆脱对成对多视角视频数据的依赖，通过真实条件视频 + 合成目标轨迹的融合策略扩大训练多样性；(3) 引入美学奖励避免几何优化过程中的视觉退化，保持模型先验；(4) 在 DAVIS 数据集上 ReCamMaster 定义的 10 类轨迹上达到 SOTA。

与已有工作不同的是，本文的核心切入角度是把强化学习（而非 SFT）首次系统地引入到 video retake 任务：既然真实多视角视频数据难以获得，RL 只需要目标相机轨迹而无需对应的真实视频，因此可以把条件端用真实视频、目标端用合成数据，二者解耦后再用 GRPO 优化。同时引入 metric-aware 的轨迹重采样（截断高斯 + 物理尺度归一）来桥接合成轨迹的尺度缺失与真实视频的物理先验，这是在已有方法中被忽略的关键环节。

核心方法

Geo-Align 的整体思路是「冻结大部分参数 + 端到端的可验证几何奖励」。以 Wan2.1 1.3B 为基础视频世界模型 $W_\theta$，只在 self-attention 层做参数高效微调；奖励由两部分组成：基于 MapAnything 的度量几何奖励（评估相机轨迹）和基于 VideoAlign/HPSv3 的美学奖励。训练时，条件视频取自 CityWalk 真实数据集，目标轨迹从 OmniWorld 游戏数据中采样并用截断高斯分布重缩放到合理物理尺度。在每个 prompt 上采样 $G=12$ 条 rollout，用 MixGRPO 的滑动窗口混合 ODE-SDE 采样降低计算开销，再用 group-wise advantage 归一化（带 max group std 下界）聚合多维奖励，去掉 KL 惩罚以最大化探索能力，最终通过带 timestep-aware loss weight $w_t$ 的 clipped policy ratio 更新参数。

与已有 SFT 方法相比，本文的本质区别在于：(1) 用 3D 重建模型充当「可验证奖励」直接对相机轨迹做度量级约束，而非依赖像素或感知损失间接优化几何；(2) 显式利用 RL 不要求配对视频的特性，把真实条件和合成轨迹解耦；(3) 提出 metric-aware 的轨迹重采样，把游戏的非度量、剧烈旋转轨迹通过截断高斯 + 物理尺度映射变成符合人类步速的稳态轨迹，从根本上稳定了 RL 优化景观；(4) 通过多维奖励 + 组内 max(std) 归一化 + 移除 KL 惩罚的组合，有效抑制奖励黑客并保护模型先验。

方法步骤详情

训练分五步：(1) 条件采样——从 CityWalk 取真实视频，MapAnything 估源轨迹；(2) 目标轨迹——用截断高斯 $\tau\sim\mathcal{N}_{\text{trunc}}(\mu,\sigma^2,[a,b])$ 采最大速度，将帧间速度重缩放为 $\tilde{P}^{\text{tgt}}$，桥接物理尺度；(3) Rollout——MixGRPO 混合 ODE-SDE 滑窗为每 prompt 采 $G=12$ 条视频；(4) 几何评估——MapAnything 回归 $\hat{t},\hat{R}$，按 $D_t=\sum_i w_i\|t_i-\hat{t}_i\|_2$、$D_r=\sum_i w_i\arccos[(\text{Tr}(R_i^\top\hat{R}_i)-1)/2]$ 算偏差，$w_i$ 单调递增；(5) GRPO 更新——$\hat{A}^{(j)}_k=(r^{(j)}_k-\mu_k)/\max(\sigma_k,\epsilon)$ 组内归一化多维奖励，clip 策略目标更新 self-attention 参数。

技术新颖性

技术上本文把四个分散的组件整合成一个紧耦合的 SOTA 框架：(1) 3D 重建网络首次作为可验证奖励嵌入视频生成 RL 的训练闭环，把「度量几何对齐」从被动度量变成可微调优化目标；(2) 创造性提出带物理尺度约束的轨迹重采样，避免了直接用游戏轨迹带来的尺度爆炸和快速旋转失效；(3) 设计了时序递增权重 $w_i$，专门针对视频模型「前段准确、后段漂移」的失败模式，把优化压力放到更难的后段帧；(4) 在 LongCat-Video 和 MixGRPO 的基础上引入组合稳定化技术（max group std 下界 + timestep-aware loss weight + 移除 KL），在 64 张 A800 上稳定训练 130 小时仍能保持多样性。整体上，这是第一个把 GRPO 范式真正落地到视频重拍任务并系统性地解决了「数据 + 尺度 + 奖励黑客」三大痛点的工作。

**Figure 2**: Geo-Align pipeline. Given a conditioning video, we sample a camera trajectory from other camera-annotated data and scale it to a plausible range, with the scaling factor drawn from a truncated Gaussian distribution.

实验结果

在 DAVIS 50 视频 × 10 轨迹共 500 测试用例上 Geo-Align 全指标领先。Table 1 显示相比 ReDirector：TransErr 0.0129 vs 0.0149（↓13.4%）、RotErr 1.3645 vs 1.4635（↓6.8%）、Dyn-MEt3R 0.8573 vs 0.8497（隐式方法最高）、MEt3R 0.3077 vs 0.3130、Subject Consistency 0.9151 vs 0.9098、Aesthetic Quality 0.5168 vs 0.5141。Table 2 速度实验在 1.0×/1.5×/2.0× 三档下本文均领先，例如 2.0× 时 TransErr 0.0153 vs 0.0161。Table 3 消融表明仅用美学奖励时 RotErr 退化到 1.6082，验证几何奖励才是相机精度的关键；完整奖励下 TransErr 0.0140、RotErr 1.3895，几何与视觉质量同步提升。Figure 3/4/5 定性对比显示在大幅相机运动下本文避免基线常见的「主体消失、背景模糊」崩坏。

**Table 1**: Quantitative comparison results on different metrics. Through the proposed reinforcement learning framework, our model yields marked enhancements across all quantitative metrics.

**Table 2**: Quantitative comparison results across different camera speeds. Our model consistently outperforms baseline method across varying camera speeds.

**Table 3**: Qualitative ablation results on DAVIS dataset. Beyond improving geometric consistency and camera accuracy, the geometry reward also yields improvements in visual quality.

**Table 4**: Summary of used assets (datasets, models, and code).

**Figure 3**: Qualitative results on the DAVIS dataset. Geo-Align demonstrates superior capabilities in maintaining geometric consistency between the foreground subject and the background.

**Figure 4**: More visualization results on CityWalk dataset. For each example, the top row illustrates the input video, whereas the bottom row visualizes our results following the target trajectory.

**Figure 5**: More qualitative comparison on DAVIS dataset. For each example, the top row illustrates the input video, while the second and third rows present the results of ReDirector and our model, respectively.

查看结构化数据

任务	指标	本文	基线	提升
相机平移误差 (TransErr, ↓)	L2 平移偏差	0.0129	ReDirector 0.0149	↓13.4%
相机旋转误差 (RotErr, ↓)	角度偏差	1.3645	ReDirector 1.4635	↓6.8%
几何一致性 Dyn-MEt3R (↑)	动态多视图一致性	0.8573	ReDirector 0.8497	+0.0076
重建一致性 MEt3R (↓)	多视图度量误差	0.3077	ReDirector 0.3130	↓1.7%
主体一致性 (Subject Consistency, ↑)	VBench 子项	0.9151	ReDirector 0.9098	+0.0053
美学质量 (Aesthetic Quality, ↑)	VBench 子项	0.5168	ReDirector 0.5141	+0.0027

局限与改进

作者在 Appendix A.1 中明确承认了三大局限：(1) 极端运动失效——当输入包含过快旋转、过大平移、或近景大前景物体时，模型仍会出现崩坏；(2) 动态场景失败——以动态物体为主的输入经常引起闪烁、消失等 artifact；(3) 训练开销极大——RL 必须为每个 prompt 采样多条完整视频，video generation 本身耗时极长。本文主要结果依赖 64 张 A800×130 小时，单卡基本不可行，clip 也只能 16 GPU × 140 step 复现缩版。从审稿人角度看，还有一处可补充但未充分分析的局限：基线使用了 Wan2.1 1.3B 而非更大模型，泛化到 14B 时多奖励融合是否仍稳定尚未验证；此外 ViPE 在大片低纹理天空/水面区域会失效，作者通过子集筛选回避但未提出根本解决方案。

独立分析的弱点

独立分析发现的可改进点包括：(1) 美学奖励与几何奖励的耦合方式仅是线性加权 $\sum_i \lambda_i \hat{A}^{(j)}_i$，理论上不同 reward 的梯度量纲差异可能导致训练前后期不稳定，可考虑自适应 Pareto 多目标优化或不确定度加权；(2) 截断高斯采样的阈值 $[a_t,b_t]$、$[a_r,b_r]$ 是经验设定，可以换成 learning-based 的 curriculum 或从 CityWalk 真实轨迹核密度估计中学习分布；(3) 模型只在 81 帧 × 480×832 分辨率下训练，长视频（>150 帧）和更高分辨率（如 720P）下的失败模式没有刻画；(4) 冻结大部分参数虽然稳定，但限制了模型对全新相机分布的适应能力，可以尝试 LoRA + 自适应层选择；(5) ViPE 作为评估器对低纹理区域失效，导致 Table 2 的实验只能用 40 视频子集，未来需要更鲁棒的评测器或合成 ground-truth；(6) CityWalk 非商用 license 和 OmniWorld BY-NC-SA 4.0 限制了大模型的商业化复用。

未来方向

作者明示的两个方向是：(1) 提升 RL 训练效率，加速每次 GRPO step 的 rollout 采样；(2) 解决极端运动和动态对象失败。基于本文成果可延伸的方向还包括：(a) 把同一框架扩展到更长视频甚至 4D 动态场景，用 MapAnything 的时序连续性做更长时段的奖励；(b) 探索开放词汇 / 用户自定义 prompt 的文本驱动轨迹控制；(c) 把度量几何奖励与下游编辑任务（对象操作、风格迁移）耦合；(d) 用 RLHF 方式引入人类偏好作为第三奖励维度；(e) 把 metric evaluator 替换成更具可解释性的 differentiable renderer（如 3D Gaussian Splatting）以实现更精确的相机反馈；(f) 与世界模型（如 Cosmos）结合，把视频 retake 推广到模拟器训练管线中。

复现评估

本文可复现性较好但门槛高。项目页公开在 https://lizizun.github.io/geo-align-page/，基础模型 ReDirector 与 MapAnything 均 Apache 2.0 可商用，但 MixGRPO（Non-Commercial）、OmniWorld（BY-NC-SA 4.0）、CityWalk（非商用）限制商业化，作者在 Table 4 中如实标注。训练用 CityWalk + OmniWorld 子集，评测用 DAVIS；超参与实验细节充分：self-attention 微调、81 帧 × 480×832、T=25 推理步、$G=12$、学习率 $\eta=1\times10^{-4}$、140 步训练；主要实验需 64×A800×130 小时，消融 16×A800×140 步。复现难度整体偏高，需要私有代码 + 长训练 + 多 GPU；普通研究者虽难复现完整 SOTA 数字，但可在小规模 GRPO loop 上验证奖励机制。

Geo-Align：基于度量几何奖励的视频生成对齐方法 Geo-Align: Video Generation Alignment via Metric Geometry Reward