CityRAG：通过空间接地视频生成技术踏入城市

用街景检索增强生成可导航的3D一致视频，融合静态建筑与动态外观

前置知识

图像到视频生成 (I2V)

I2V 模型以单张图片为首帧条件，配合文本或运动提示扩散生成时序连贯的视频序列，代表工作包括 Wan 2.1、Veo、Sora 等基于扩散 Transformer (DiT) 的模型。本文的 CityRAG 即在 I2V 基模型上做微调。

CityRAG 是 I2V 模型的扩展，理解 I2V 的「首帧条件 + 扩散去噪」范式是理解其如何加入轨迹与地理条件的前提。

扩散 Transformer (DiT) 与时空 VAE

DiT 用 Transformer 替代 UNet 做扩散去噪；时空 VAE 把视频像素压缩到潜空间以降低计算量。Wan 2.1 (14B) 包含时空 VAE 与 DiT，本文通过在 DiT 块旁并联独立的 Cross-Attention 分支注入条件。

CityRAG 在 DiT 主干上新增独立的 Cross-Attention 模块处理地理条件，必须了解 DiT 块结构才能理解改造方式。

检索增强生成 (RAG)

RAG 在推理时从外部知识库检索与查询相关的样本作为上下文，引导大模型生成更准确、更少幻觉的输出。本文的「地理条件视频」即通过 RAG 从 Street View 数据库按轨迹检索得到。

CityRAG 的核心思路是把 RAG 范式扩展到视频生成，让生成内容在外部真实数据中扎根，避免纯扩散先验的幻觉。

相机外参与轨迹条件

相机外参是 4×4 矩阵，描述相机在世界坐标系的位姿 (旋转+平移)。本文把外参展平后用 Conv1D 沿时间下采样 4 倍以匹配 VAE 的时间压缩，再用两层 MLP 处理后注入每个 DiT 块的输出。

轨迹条件让模型支持用户指定相机运动路径，是从静态生成走向「可导航」的关键。

无时间对齐配对训练数据

本文构造「同地点不同时间」的街景全景对，平均距离 <5m 但捕获时间不同（如上午 vs 下午）。这种时间错位强制模型从静态结构中剥离光照、车辆、行人等瞬态属性。

这是本文最核心的数据设计巧思——错位时间逼迫模型学到「建筑=静态、天气=瞬态」的语义解耦。

Classifier-Free Guidance (CFG)

CFG 在训练时以一定概率把条件置为空，让模型同时学有条件与无条件生成；推理时通过线性组合 $\tilde{\epsilon} = (1+w)\epsilon_c - w\epsilon_u$ 增强条件控制。本文对位姿和地理条件分别独立采样 10% 丢弃率。

理解 CFG 才能解释为什么模型在地理条件完全错配时仍能回退到 I2V 行为。

研究动机

现有视频生成模型（T2V/I2V）虽然能产出符合文本或首帧条件的合理序列，但无法重建真实世界——它们不能复现任意天气、动态物体配置下的特定地理位置，因此无法满足自动驾驶仿真（Waymo 2026 提到需在暴风雪等危险条件下采集数千英里数据）和机器人训练（工厂中避开行人、货箱等瞬态障碍）等下游应用的需求。另一类基于 NeRF 的非生成式 3D 表示虽然能重建静态场景，但需要密集采集、无法生成真实运动或复杂外观变化。本文在引言中举了一个具体场景：纽约 42 街与 5 大道交叉口的照片，需要「踏入图像走向帝国大厦」，并保持原图的小雨天气和一辆正在转弯的出租车，这种「图像驱动 + 真实地理 + 动态一致」的组合是现有方法都做不到的。

本文的目标是本文提出 CityRAG，目标是从一张输入图像出发，生成 3D 一致、可在真实地理位置中导航的视频环境。具体来说，模型要同时尊重两类属性：来自首帧图像的「瞬态属性」（光照、车辆、行人）和来自预采集地理注册视频的「静态属性」（建筑、道路），并支持用户自定义相机轨迹生成分钟级可导航视频。文章聚焦 Street View 域，原因是其覆盖密集、带有静态与动态元素的语义排布信号，非常适合作为「现实地理的脚手架」。最终交付的能力是：用户给一张图和一段轨迹，模型检索街景数据库生成连贯视频，并能自回归续写以完成转弯、闭环、长距离导航等动作。

与已有工作不同的是，本文的独特切入角度有三层：第一，把 RAG 范式首次系统地扩展到空间接地视频生成，让生成结果在外部真实数据库中扎根；第二，提出「时间未对齐配对」的数据驱动训练策略——通过同地点不同时间的全景对，强制模型语义解耦静态与瞬态属性，而非依赖人工启发式；第三，构造专门的 Cross-Attention 分支处理变长地理条件，并结合 RAG 推理管线支持任意轨迹（通过拼接多段视频实现转弯、闭环等）。与现有 R2V/V2V 方法相比，CityRAG 不要求像素级严格对齐，且首次展示分钟级（>1000 帧）3D 一致的可导航生成。

核心方法

CityRAG 的整体思路是：在 SOTA I2V 模型 Wan 2.1 (14B) 基础上做微调，同时注入三种条件——首帧图像（初始化场景外观与动态）、相机轨迹（4×4 外参矩阵，控制用户视角运动）和地理条件视频（RAG 检索自 Street View 数据库，提供建筑道路等静态结构先验）。三者通过不同通道进入 DiT：首帧沿用 I2V 的拼接方式，轨迹作为加性偏置注入每个 DiT 块，地理条件通过独立的 Cross-Attention 分支提供 KV 键值对。这种设计使模型在训练时学会「瞬态来自首帧、静态来自地理条件」的语义解耦，推理时通过 RAG 检索给定轨迹附近的街景视频作为上下文，可自回归地续写分钟级视频。直觉上可以理解为：模型把首帧当「皮肤」（天气、动态物体），把地理条件当「骨架」（建筑、道路），二者融合生成既真实又可导航的视频。

核心创新点在于「时间未对齐配对」的训练数据策略与对应的 Cross-Attention 架构改造。已有的 I2V/NeRF 方法要么缺乏外部上下文导致幻觉，要么依赖严格像素对齐无法适应任意天气。CityRAG 构造同地点不同时间（平均距离 <5m、时间可差数小时）的全景对作为训练样本：由于时间错位，地理条件中的光照、车辆必然与目标视频不同，模型被迫从条件中提取「相同的建筑布局」，忽略「不同的瞬态外观」。这在架构上通过独立的 Cross-Attention 分支实现——把目标 noisy latent 作为 Query、地理条件 latent 作为 Key/Value，让每一帧可以关注整个上下文而非逐像素对应。本质区别于 V2V 模型：V2V 是像素级迁移，CityRAG 是语义级检索增强。

方法步骤详情

方法分三步。**数据构造**：收集 10 个城市（Paris、Athens、Anchorage、Hyderabad、Philadelphia、San Francisco、San Juan、Honolulu、London、Sao Paolo）共 550 万张全景图及 ECEF 位姿，按同路径时间不同、平均距离 $<5$m 配对，$N=73$ 帧，得 130 万训练对。**模型微调**：基模型 Wan 2.1 (14B) 含时空 VAE + DiT；首帧沿用 I2V 通道拼接；轨迹条件将 4×4 外参展平、Conv1D 时间下采样 4 倍匹配 VAE 压缩，再经两层 MLP 与零初始化投影加到每个 DiT 块；地理条件复制自注意力块为独立分支，视频经 VAE 编码作 Cross-Attention 的 KV、目标 noisy latent 作 Q。训练时条件帧数随机 61–81（与 73 错位），CFG 丢弃率 10%，两种条件独立采样。**推理 RAG**：从 Street View 数据库检索沿途地理视频（必要时拼接多段支持转弯），送入模型生成视频段，再以末帧为新首帧自回归续写。

技术新颖性

技术新颖性体现在三个层面。**数据层面**：首次系统化构造「时间未对齐」的同地点街景配对（550 万全景、130 万对），用数据驱动的错位强制模型学到静态-瞬态解耦，无需人工标注或显式分割损失。**架构层面**：在 DiT 主干上独立训练 Cross-Attention 分支处理变长地理条件，避免与原 I2V 先验冲突；通过零初始化投影让位姿条件在早期不影响视频先验、后期逐步接管。**系统层面**：把 RAG 范式引入视频生成并配合自回归续写实现分钟级（>1000 帧）3D 一致可导航视频，闭环、转弯、任意天气切换皆可；实验表明模型在地理条件完全错配（如目标路口停车等待对向车流）时仍能遵循轨迹生成合理结果，说明其同时保有强生成先验。

实验结果

在 PSNR、SSIM、LPIPS、FID 四指标对比 4 个基线。**定量** CityRAG 全面领先：PSNR 15.03（最优基线 Gen3C I2V 仅 13.28），SSIM 0.466（基线 0.453），LPIPS 0.504（基线 0.654，降 23%），FID 16.55（基线 47.56，约 3 倍）。掩码动态区域后的「静态版本」PSNR-S 15.86、LPIPS-S 0.432 同样领先，验证对建筑道路还原优于幻觉填补。两个完全未训练城市（London、São Paulo）PSNR 15.11、FID 16.90 与全集相近，泛化良好。**定性** Figure 6 Scene A 既跟随首帧阴雨又渲染教堂；Scene B 在 t=7s 渲染出地理条件 t=10s 才出现的建筑，证明利用全局结构而非像素对应。Figure 7 显示条件完全错配时模型仍按轨迹左转，并完成训练最大 180° 的 360° 同序列旋转。**用户研究**（Figure 8）从视觉质量、首帧延续性、地理忠实度 1–3 分打分，CityRAG 是唯一三轴同时领先的方法。

查看结构化数据

任务	指标	本文	基线	提升
视图合成保真度	PSNR ↑	15.03	13.28 (Gen3C I2V)	+1.75 dB，约 13% 相对提升
视图合成保真度	SSIM ↑	0.466	0.453 (Gen3C I2V)	+0.013
感知相似度	LPIPS ↓	0.504	0.654 (Gen3C I2V)	下降 0.150，约 23% 相对提升
静态区域保真度	PSNR-S ↑	15.86	12.86 (Gen3C I2V)	+3.00 dB，约 23% 相对提升
静态区域感知相似度	LPIPS-S ↓	0.432	0.543 (Gen3C I2V)	下降 0.111，约 20% 相对提升
生成图像质量	FID ↓	16.55	47.56 (AnyV2V)	下降 31.01，约 3 倍提升
未见城市泛化 (London+Sao Paulo)	PSNR/SSIM/LPIPS/FID	15.11 / 0.461 / 0.517 / 16.90	全集测试集均值近似	无明显性能差距，说明跨城市泛化良好

局限与改进

作者承认的局限性包括：(1) 所有定量指标都偏低（包括 CityRAG 自身 PSNR 仅 15.03），原因是生成模型固有的随机性使其无法达到传统 NVS 方法的像素级重建精度，微小的相机偏移或几何幻觉就会导致高像素误差；(2) 完全未针对本文任务训练的基线本就处于劣势，AnyV2V 只能「复制」首帧无法移动相机、Gen3C 只能处理极小幅度的相机抖动；(3) 依赖于 Street View 数据库覆盖范围，无法生成无街景区域的视频；(4) 14B 参数的 Wan 2.1 推理成本高，单段生成延迟显著。**我自己的观察**：(a) 模型在动态目标（小车、行人）的精细控制上仍受限于首帧单图信息，长时间自回归续写可能出现漂移；(b) 360° 旋转等极端轨迹虽然能完成，但 Figure 7 显示视觉质量下降，作者也指出是时序 VAE 的伪影；(c) 跨季节跨光照的「任意天气切换」演示仅限首帧给定的天气，未真正做到推理时可控切换天气标签。

独立分析的弱点

**独立分析的弱点**：(1) **依赖预采集数据库**：CityRAG 必须先有对应地理位置的 Street View 数据，否则无法生成；改进方向是探索用 NeRF/Gaussian Splatting 等预重建的 3D 表示作为替代上下文，或结合通用世界模型先验。(2) **位姿输入耦合轨迹与地理条件**：当用户给定的轨迹与检索到的地理条件错位过大（如转弯）时需要拼接多段视频，Figure 5 显示拼接处存在视觉跳变；改进方向是引入更平滑的轨迹插值或对拼接点做时序一致性损失。(3) **长视频自回归误差累积**：分钟级生成依赖自回归续写，每段误差会向后传播；改进方向是引入周期性「记忆帧」回灌、点云缓存或 3D 一致性约束。(4) **基线对比不公平**：所有基线都未针对本文任务微调，FID 16.55 vs 47.56 的差距部分来自任务匹配度；改进方向是构造真正可比的「同一训练数据 + 同一基座」的对照实验。(5) **场景类型局限**：只在 10 个城市驾驶街景训练，对室内、野外、极端气候的迁移未验证；改进方向是引入跨域数据混合训练。

未来方向

**作者提出的方向**：(a) 把方法扩展到更多应用场景，例如室内建筑（商场、机场）与工业场景（工厂车间），用于机器人训练；(b) 进一步研究「静态-瞬态解耦」的机制，挖掘模型是否真正理解了语义而不仅是统计相关性；(c) 降低推理成本，14B 模型对实际部署是挑战。**基于成果可延伸的方向**：(d) 把「时间未对齐配对」策略推广到其他多模态生成任务，例如不同光照下的人像照片对可用于肖像重打光；(e) 把 RAG 管线与扩散模型的语义编辑能力结合，允许用户指定「把天气改成雪天」「把行人换成自行车」等局部编辑；(f) 结合大语言模型做意图理解，让用户用自然语言描述轨迹（如「沿这条路走到第二个路口左转」）而非手动指定位姿；(g) 引入世界模型 (world model) 的物理一致性约束，让生成的车辆、行人遵守基本动力学。

复现评估

**复现评估**：(1) **代码与模型**：论文未明确承诺开源 14B 微调模型与训练代码，仅提到「详见附录」并在投稿时未释放权重；第三方复现需要从零训练 14B DiT，成本极高。(2) **数据**：训练数据来自 Google Street View 的 550 万全景图，需获得 Google 授权并通过 ECEF 位姿 API 抓取，普通研究者难以获取同等规模数据；数据敏感性（人脸、车牌）已脱敏，但地理数据本身的版权仍受限。(3) **算力**：Wan 2.1 14B 微调需要至少 64 张以上 H100/A100 规模，单次完整训练可能需数周；推理阶段单段视频生成需要多卡，单用户完整使用分钟级生成成本可观。(4) **难度**：架构改造（独立 Cross-Attention 分支、Conv1D+MLP 注入）与数据配对管线（时间未对齐 <5m 阈值过滤）的工程实现细节在正文较完整，但 CFG 调度、自回归续写长度等超参依赖经验。综合评估：算法描述清晰但完全复现门槛极高，更可能的形式是作者发布推理 demo 与论文级别的描述。

CityRAG：通过空间接地视频生成技术踏入城市 CityRAG: Stepping Into a City via Spatially-Grounded Video Generation