← 返回 2026-04-28

UniGeo：通过统一几何引导实现基于视频模型的相机可控图像编辑 UniGeo: Unifying Geometric Guidance for Camera-Controllable Image Editing via Video Models

Hong Jiang, Wensong Song, Zongxing Yang, Ruijie Quan, Yi Yang 📅 2026-04-19 👍 10 2026-07-13 08:36
DiT camera-controllable editing geometric guidance novel view synthesis video diffusion model
arXiv HuggingFace PDF

在视频扩散模型三层次统一注入几何引导的相机可控编辑框架

前置知识

扩散模型与整流流（Rectified Flow）

整流流把数据和噪声用 $\mathbf{z}_t=(1-t)\mathbf{z}_0+t\boldsymbol{\epsilon}$ 线性插值，模型 $F_\theta$ 拟合速度场 $\mathbf{v}=\boldsymbol{\epsilon}-\mathbf{z}_0$。

本文基座 Wan2.2-TI2V-5B 正是基于整流流的视频扩散模型，理解该范式才能读懂几何引导在 DiT 块中如何叠加。

DiT 与 3D VAE 潜在空间

视频先用 3D VAE 编码到 $\mathbf{z}_0=E(x)$ 的紧凑潜空间，再被 patchify 成 token 序列送入 DiT 主干做注意力。本文在 frame 维度上把几何 token 和视频 token 拼接。

FDPCI 和 GAA 都直接修改 token 拼接方式与注意力机制，必须理解 DiT 的 patchify 与多头注意力流程才能看懂改造点。

相机可控图像编辑（Camera-Controllable Image Editing）

给定单张输入图像和目标相机位姿，生成该视角下的新视图，要求跨视角保持场景几何一致。它不同于普通图像外观编辑，核心难点是连续相机轨迹下的 3D 结构保持。

本文任务定义与一般图像编辑的核心差异在几何连续性，这是 UniGeo 三大模块共同服务的目标。

点云渲染作为几何先验

用 VGGT 从输入图重建稀疏点云 $P_0$，再沿相机轨迹 $C_f$ 渲染得到渲染序列 $R_f=\pi(P_0, C_f)$，其中首帧 $R_0$ 被原图替换以保持参考视图对齐。

FDPCI 的输入就是这条渲染序列，理解渲染流程才能搞清为何解耦到 frame 维度而非 channel 维度。

LoRA 微调

在冻结的预训练权重上叠加低秩矩阵 $\Delta W=AB$ 做轻量微调。本文对 5B 参数的 Wan2.2 用 rank 256 的 LoRA 在 4 卡上训练 10k 步。

LoRA 的零初始化策略决定了几何引导以加性残差形式注入主干，是 GAA 设计中保持预训练先验的关键。

研究动机

现有相机可控图像编辑方法普遍存在两个问题。第一，缺乏连续性：CameraCtrl、MotionCtrl 等主流方法基于图像扩散模型，只能建模离散视角之间的映射，难以反映相机在三维空间中真实的连续轨迹，生成结果在视角变化下容易出现不稳定闪烁。第二，缺乏统一的（unified）几何引导：ViewCrafter、FlexWorld、PE-Field 等方法只在表示层注入点云或深度，但模型内部还包含架构和损失函数两个共同决定生成输出的层次，碎片化的几何信号让跨视图几何对应无法贯穿整个生成管线，最终导致结构断裂和 3D 崩塌。Table 1 中 FlexWorld 在 RE10K 极限运动下的 LPIPS 高达 0.3008、PE-Field 更是 0.3768，即是这些问题的直接量化体现。

本文的目标是本文提出 UniGeo 框架，旨在把视频扩散模型的连续视角先验与几何引导相结合，系统性地在表示层、架构层和损失函数层三个共同决定生成输出的层次上统一注入几何信号，从而实现跨视图严格一致的相机可控图像编辑。具体量化目标是在 RE10K 极限运动场景下把 LPIPS 从 0.3008 降到 0.24 以下，在 Tanks 有限运动场景下把 PSNR 从 16.9580 提升到 17.8 以上，全面超越现有 SOTA 基线。

与已有工作不同的是，本文的独特切入角度是把几何引导作为第一类对象，而不是把它当作表示层的附属信息。作者从模型设计的三个基本层次（representation / architecture / loss）出发，分别设计 FDPCI、GAA、TEGS 三个紧密耦合的模块，让几何信号贯通整个生成管线。这种统一思路既不是单纯换基座（从图像扩散换成视频扩散），也不是只在某一层堆条件，而是首次系统性地把点云几何真正绑定到 DiT 的 token 流、注意力流和损失权重分布中。

核心方法

UniGeo 的整体思路是把视频扩散模型视为天然带连续视角先验的生成器，并在三个共同决定输出的层次上系统性地注入几何引导。具体地，先用 VGGT 从输入图像 $I_0$ 重建点云 $P_0$ 并估计相机轨迹 $C$，渲染得到与目标轨迹对齐的渲染序列 $R$；然后在 DiT 中把渲染序列作为额外 frame token 与目标视频 token 拼接（FDPCI）；再在注意力层以首帧特征作为几何锚点对齐跨视角特征（GAA）；最后通过二次型权重在损失函数中强化轨迹端点的几何监督（TEGS）。整个训练基于 Wan2.2-TI2V-5B + LoRA(rank 256)，29 帧、分辨率 $704\times1248$，仅 4 卡 10k 步即可收敛。

UniGeo 与已有方法的本质区别在三点：其一，把点云几何渲染序列沿 frame 维度而非 channel 维度拼接，避免点云缺失像素污染生成图；其二，把首帧几何特征显式做成 attention anchor，把跨视图几何对齐从隐式变成可学习的残差项；其三，把轨迹端点几何监督显式建模为二次型权重 $\mathcal{L}_{\text{weighted}}=\sum_{i=1}^{N-1}w_{\text{loss}}(i)\mathcal{L}_i$，让优化目标从序列级一致性转向目标视角的结构保真。

方法步骤详情

训练分四步。(1) 几何构造：VGGT 估计相机轨迹并重建 $I_0$ 的点云 $P_0$，沿轨迹渲染 $R_f=\pi(P_0,C_f)$，令 $R_0=I_0$ 对齐参考帧。(2) FDPCI 注入：把目标视频潜 $\mathbf{z}_t$ 与渲染潜 $\mathbf{z}_s$ 沿 frame 维度拼接为 $\mathbf{x}_i\in\mathbb{R}^{b\times 2f\times d}$ 送入 DiT。(3) GAA：首帧 $\mathbf{X}_0$ 经预训练 $W_K,W_V$ 得 $K_0,V_0$，后续帧经可学习 $W_Q^\prime$ 得几何查询 $(Q_i)^\prime$，零初始化 $W_O^\prime$ 残差加回自注意力，权重 $\alpha=1$。(4) TEGS 损失：二次型权重 $w_{\text{loss}}(i)=1+\gamma(2i/(N-1))^2$（$\gamma=0.01$）加权各帧损失，并延展末帧强化目标视角结构。推理时把用户指令转末端位姿、均匀插值后渲染再走相同管线。

技术新颖性

技术新颖性体现在三处跨层次的耦合设计。表示层方面，FDPCI 改写了 DiT 的条件拼接范式，从传统 channel-concat 改为 frame-concat，巧妙规避了点云空洞直接破坏 RGB 像素的风险；架构层方面，GAA 引入几何锚点概念，把首帧几何特征作为跨视角对齐参考，仅用两个低秩矩阵 $W_Q^\prime,W_O^\prime$ 即可实现，几何先验与外观先验在注意力空间内显式分流；损失层方面，TEGS 把时间维度上的损失权重由常量改为二次型，并把末帧时序延展，把端点几何稳定作为优化目标的高阶正则，这三点在已有相机可控编辑工作中均未同时出现。

UniGeo Framework overview.
Fig. 2: UniGeo Framework overview.

实验结果

Table 1 在 DL3DV/RE10K/Tanks 极限运动下 UniGeo 全面 SOTA：RE10K FID 90.43→66.67（-26.3%）、LPIPS 0.3008→0.2377（-21.0%）、PSNR 14.34→14.97；DL3DV FID 125.27→113.11；Tanks PSNR 13.81→14.45。Table 2 有限运动同样胜出：Tanks PSNR 16.9580→17.8171，RE10K LPIPS 0.2573→0.1730，DL3DV FID 76.91→69.05。Table 3 MannequinChallenge FID 185.76 最佳但 PSNR 12.2003 略低于 PE-Field 的 12.7902，揭示人物身份一致性仍待解决。Table 4 消融显示三模块缺一不可，去掉 FDPCI 时 SSIM 从 0.4830 跌至 0.4270。Fig. 3/4 定性证明大幅运动下避免结构复制，Fig. 5 中间帧可视化验证模型学到连续轨迹。

Quantitative comparison under the extensive camera motion setting.
Table 1: Quantitative comparison under the extensive camera motion setting.
Quantitative comparison under the limited camera motion setting.
Table 2: Quantitative comparison under the limited camera motion setting.
Results on MannequinChallenge.
Table 3: Results on MannequinChallenge.
Ablation study on DL3DV under extensive and limited camera motion.
Table 4: Ablation study on DL3DV under extensive and limited camera motion.
Hyperparameter analysis on the weight α of Geometric Anchor Attention.
Table 5: Hyperparameter analysis on the weight α of Geometric Anchor Attention.
Hyperparameter analysis on the weight γ of Trajectory-Endpoint Geometric Supervision.
Table 6: Hyperparameter analysis on the weight γ of Trajectory-Endpoint Geometric Supervision.
Qualitative comparison under the extensive camera motion setting.
Fig. 3: Qualitative comparison under the extensive camera motion setting.
Qualitative comparison under the limited camera motion setting.
Fig. 4: Qualitative comparison under the limited camera motion setting.
Intermediate Trajectory Visualization.
Fig. 5: Intermediate Trajectory Visualization.
Qualitative comparison on the MannequinChallenge dataset.
Fig. 6: Qualitative comparison on the MannequinChallenge dataset.
Qualitative results of the ablation study.
Fig. 7: Qualitative results of the ablation study.
查看结构化数据
任务指标本文基线提升
Camera-controllable editing on RE10K (extensive motion) LPIPS 0.2377 0.3008 (FlexWorld) 相对降低 21.0%
Camera-controllable editing on RE10K (extensive motion) FID 66.67 90.43 (FlexWorld) 相对降低 26.3%
Camera-controllable editing on Tanks (limited motion) PSNR 17.8171 16.9580 (FlexWorld) 绝对提升 0.86 dB
Camera-controllable editing on DL3DV (extensive motion) FID 113.11 125.27 (FlexWorld) 相对降低 9.7%
Camera-controllable editing on DL3DV (limited motion) LPIPS 0.2065 0.2827 (FlexWorld) 相对降低 27.0%
Ablation on DL3DV (extensive motion) SSIM (drop w/o FDPCI) 0.4830 0.4270 FDPCI 贡献 +0.056 SSIM

局限与改进

作者在 5.4 节坦承两点局限：第一，复杂场景与极端视角变化下，重建点云 $P_0$ 的几何质量退化，导致 FDPCI 输入的几何参考不可靠，最终生成结果出现结构失真（Fig. 8 右图）；第二，推理时即使做了稀疏时序采样，仍需生成 29 帧，远多于单帧图像扩散模型，推理时间略长，可借助 LoRA 加速采样进一步压缩。本人观察到的额外限制包括：基座选用的 Wan2.2-TI2V-5B 已含较强视频先验，FDPCI/GAA 的增量贡献部分来自 base model，未来若换基座收益未必同大；TEGS 的二次型权重缺乏对长轨迹（>29 帧）外推性的验证；方法依赖 VGGT 提供相机位姿与点云，对 VGGT 在退化场景下的鲁棒性敏感。

独立分析的弱点

独立分析认为 UniGeo 存在四点可改进之处。第一，几何构造环节严重依赖 VGGT 重建的点云质量，当场景纹理弱或动态物体多时渲染序列本身就不准确，FDPCI 输入噪声大；可考虑多视图几何（如 DUSt3R/MASt3R）或 NeRF 几何作为更鲁棒的先验。第二，GAA 只用首帧作锚点，在长时间轨迹或剧烈回环运动下单锚点假设容易失效，可考虑滑动窗口多锚点或可学习的层级化锚点库。第三，TEGS 的二次型权重与 γ 是手工调的超参，且只对 29 帧序列调优，可改为可学习的端点权重或基于相机轨迹长度的自适应调度。第四，当前推理必须从用户相机指令推末端位姿再插值，对非均匀轨迹不友好，可引入扩散式相机采样直接生成轨迹分布。

未来方向

作者提到的方向是利用 LoRA 做加速采样以提升推理效率。从结果延伸，本人认为可探索四个方向：（1）把统一几何引导思路推广到 4D 动态场景编辑，把时间维度的几何一致性也纳入三层注入框架；（2）把 GAA 推广为语义-几何双锚点，借助 SAM/DINO 特征在保持几何的同时强化语义一致性；（3）把 FDPCI 与 3D Gaussian Splatting 渲染结合，获得更稠密、更忠实的外观先验，缓解点云稀疏问题；（4）将 UniGeo 的训练范式扩展到视频级相机控制，让用户能精细指定加速、减速与转向，进一步缩小与专业 3D 制作流程的差距。

复现评估

复现难度中等偏高。作者基于 Wan2.2-TI2V-5B（5B 参数）训练，使用 4 块 GPU、约 10k 步、batch size 4、lr $1\times10^{-4}$、LoRA rank 256，29 帧、分辨率 $704\times1248$；训练数据来自 DL3DV（约 3.5k 样本）、MannequinChallenge（2.5k）、RE10K（9k），每样本 81 帧稀疏采样到 29 帧。代码与权重目前在论文中未明确承诺开源（项目页 https://mo230761.github.io/UniGeo.github.io/ 仅作为结果展示），主要依赖包括 VGGT（几何与位姿）、Wan2.2-TI2V-5B（基座）、PyTorch + FSDP/DeepSpeed 训练栈。复现门槛在算力（4×A100 级别约需数天）和数据预处理（相机轨迹估计、点云渲染），对个人研究者挑战较大，但超参 $\alpha=1,\gamma=0.01$、数据集划分阈值 35% mask ratio 等设置均明确给出，实验可重复性可控。

论文图表

Visual comparisons (teaser) under different camera motion settings.
Fig. 1: Visual comparisons (teaser) under different camera motion settings.

对比 FlexWorld、ViewCrafter、PE-Field 与本文在相机运动下的视觉效果，前三者出现结构断裂与伪影（红色框），UniGeo 通过统一几何引导保持全局几何与结构保真（绿色框）。

作为 teaser 直接展示了碎片化 vs 统一几何引导的视觉差异，是论文核心论点最直观的证据。

Failure cases.
Fig. 8: Failure cases.

两类失败案例：左列为复杂物体下几何与纹理同时退化；右列为极端相机变化下几何一致性失效。

作者主动展示的局限性，是讨论 future work 与 limitations 时必引用的图。