Warp-as-History：用一条训练视频实现可泛化的相机控制视频生成 Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video

整个方法可以形式化为一个清晰的流水线。设 $X = (x_1, \dots, x_T)$ 为待生成视频，$p$ 为文本提示，$X_{<t}$ 为当前 chunk 之前的已观测历史，$X_{t:t+K}$ 为 backbone 要生成的新 chunk。Step 1（场景重建与 warp 渲染）：用现成 3D 重建模型 $R$ 从 $X_{<t}$ 重建场景几何，然后按目标相机轨迹 $C = (c_1, \dots, c_T)$ 投影得到 warp 视频 $W_C \in \mathbb{R}^{T \times H \times W \times 3}$，同时得到 warp 有效性 mask $M_C \in \{0,1\}^{T \times H \times W}$。Step 2（构造 camera-warped pseudo-history）：把 $W_C$ 沿 backbone 的原生 history 算子 $H$ 打包，得到 history token 序列 $\tilde{H}^C_t = H(W_C)$；这里的 $H$ 与预训练时完全一致，包括 patchify、token 编码和打包过程，因此不需要改架构。Step 3（目标帧位置对齐）：保留 warp token 处于 history patchify 路径，但把每个 warp latent 的时间 RoPE 索引重新赋值为对应目标帧 noisy latent 的索引，使得第 $j$ 个 warp frame 的所有 token 与第 $j$ 个去噪目标帧共享 RoPE 位置；这一改写不替换或覆盖 noisy target token，只改变 warp 证据的『时间位置语义』。Step 4（可见 token 选择）：把 $M_C$ 映射到 latent token 网格 $M_C^{\text{lat}}$，剔除支持不足的 warp token（具体做法是当 patch 内有效像素比例低于阈值时整组丢弃），让 backbone 的预训练补全行为去处理被剔除区域，模拟『历史片段中常见的不完整观察』。Step 5（生成条件组合）：最终生成式为 $\hat{X}_{t:t+K} \sim p_\theta(\cdot \mid H_t, \tilde{H}^C_t, p)$，其中 $H_t$ 为真实历史构造（可为空），$\tilde{H}^C_t$ 为相机 warp 伪历史，二者都走同一条 history 流，无新控制分支、无采样时引导损失。Step 6（一条视频的 LoRA 微调）：选定一条与测试集无关的相机标注视频，按 backbone 原训练目标优化 LoRA 参数 $A$、$B$（$W + BA$），只动低秩更新；推理时不再做任何 per-video 适配。

本文的技术新颖性集中在三点。第一，把相机 warp 注入点选在『原生 history 通路』而不是架构内部、采样时目标或专门控制分支，这种『伪装成历史』的相机控制范式在 CameraCtrl/Gen3C/ViewCrafter/Voyager 等所有已知 SOTA 中都没有出现过。第二，『目标帧位置对齐 + 可见 token 选择』是一个紧凑且可解释的组合：前者只动 RoPE 索引，不改 token 内容；后者只动 mask 丢弃，不引入新模块。两者结合就把『带几何错位的相机证据』转换成 backbone 早已会处理的『不完整历史』，这是论文反复强调的『设计哲学』级创新。第三，『一条视频 LoRA 微调』作为『行为稳定化』而非『从零学相机控制』的诊断视角——通过附录 D 的 source-sensitivity 实验，作者证明无论用哪一条单独视频做微调，效果都稳定优于零样本，但绝对数值对源视频敏感，这一可重复观察到的现象反过来支持『相机跟随先验在 backbone 内部已经存在』这一论文核心论断。

独立审视后可以看到 Warp-as-History 至少存在三处可改进的弱点。第一，依赖外部 3D 重建质量：方法需要 Wang et al. 2025 重建模型从 $X_{<t}$ 重建场景几何再渲染 warp，如果重建在低纹理区域、透明物体或动态前景下出现错位，最终 warp 就会把几何错位『喂』给 backbone，再多的目标帧对齐或可见 token 选择也难以修复；改进方向是允许在训练时引入噪声扰动让 backbone 对 warp 不确定性鲁棒，或采用多假设 warp 集合。第二，one-shot 源敏感性过强：附录 D 明确说不同源视频带来显著性能波动，这意味着一旦挑选不当（比如用完全静态或无强相机运动的视频）效果可能崩盘；改进方向是设计一个自动『源选择』准则（如依据视频的相机运动幅度、前景动态度等挑选最合适的源），或在训练时把『源域自适应』目标也加入 LoRA 损失。第三，仅在最低分辨率 stage 接入 Warp-as-History：限制了对细粒度相机位移的响应能力，高分辨率 stage 完全沿用 native refinement，可能错过一些细粒度校准机会；改进方向是尝试在多个 stage 接入 warp history，并研究 stage-wise 的多尺度对齐策略。第四，复杂动态场景的边界瑕疵：作者承认『模型可能过度信任 warp 证据、产生不自然边界』，目前的 one-shot LoRA 只能缓解但未根治；改进方向是在 history 拼接处显式建模『warp 边界不确定性』，让 backbone 学会在 warp 不可靠处回归生成先验。

作者明确提出的未来方向是：探索『源选择策略』与『few-shot 缩放』——附录 D 已经发现单视频对结果敏感，作者希望系统研究多源融合、多视频微调的非单调效应，进一步降低对源选择的依赖。基于本文成果可进一步延伸的方向包括：第一，把 Warp-as-History 拓展到其他视频生成 backbone（不限于 Helios），验证『原生 history 通路』这一范式是否对其他历史条件化架构（如 Wan 系列）同样成立；第二，结合显式深度/法线证据，让 warp 不仅是 RGB 图像而是带几何信息的 3D-aware 伪历史，从而缓解重建瓶颈；第三，把『单视频 LoRA』思路与 RLHF / RLAIF 类偏好学习结合，让模型在『相机跟随』与『人类审美』之间形成可调控的权衡；第四，研究 Warp-as-History 与 4D 动态场景重建的耦合，让 warp 视频本身随时间演进而无需每窗口重做静态重建，进一步把端到端开销降到生成时间量级。

论文在复现性方面表现中等：核心思想与公式（式 1-3）已完整给出；backbone 选定为 Helios 蒸馏版本（[Yuan et al., 2026]），并承诺在附录 C 中提供 checkpoint / LoRA / packing 的具体细节；warping 用 Wang et al. 2025 的现成 3D 重建模型。训练配置明确：单卡 A800、1000 次 LoRA 迭代、约 1 小时、训练目标与 backbone 一致。评测覆盖三个公开数据集（WorldScore、RE10K、DAVIS）与多个公开基线（Gen3C、Voyager、ViewCrafter、HyWorldPlay），并使用 DOVER、VBench、PSNR/SSIM/LPIPS/R-Err/T-Err 等多套标准指标。然而仍存在几处复现门槛：第一，Helios 模型本身是相对新的 backbone，其官方实现与预训练权重的可用性会影响复现；第二，外部 3D 重建模型（Wang et al., 2025）的具体实现未在本文展开，需要读者自行查阅并接入；第三，附录 C 中提到的 checkpoint / LoRA 权重尚未在公开论文中明示链接。整体而言，代码仓库 https://github.com/yyfz/Warp-as-History 与项目页 https://yyfz.github.io/warp-as-history/ 提供了主要入口，但完整复现仍需配合 Helios 与外部重建模型两份外部资源，难度中等。