CrossTimeEdit：跨十年跨视角数据集与奖励引导的历史街景生成编辑 CrossTimeEdit: A Decade-Spanning Cross-View Dataset and Reward-Guided Editing for Historical Street-View Generation
以近年街景为参照、十年卫星差异为变化证据，把历史街景生成重构为多奖励强化学习驱动的局部编辑
前置知识
流匹配（Flow Matching）
流匹配是一类生成建模框架：学习速度场 $v_\theta(z_t, t)$，把高斯噪声沿近似直线的概率路径连续输运到数据分布。训练时对干净潜变量 $z^\star$ 加噪得 $z_j=(1-\sigma_j)z^\star+\sigma_j\eta$，网络回归目标速度 $\eta-z^\star$；推理时从噪声出发做少步数值积分。FLUX 系列模型即基于流匹配，采样步数比传统扩散更少。
CrossTimeEdit 的底座 FLUX.2 [Klein] 4B 是流匹配模型，SFT 损失就是速度预测的 MSE，RL 阶段的 Flow-SDE 采样和速度参考惩罚都定义在速度场上，不理解流匹配就读不懂其训练目标（Eq. 5-7）。
LoRA 低秩适配
LoRA 在冻结的预训练权重旁挂上低秩分解 $\Delta W=BA$（秩 $r\ll d$）作为唯一可训练参数，用极小的参数量完成领域适配。本文只用 rank 32、$\alpha=32$ 的注意力投影 LoRA（含文本流投影），主干 Transformer、MLP、文本编码器和 VAE 全部冻结，8 张 RTX 3090 即可微调 4B 模型并保留底座的通用图像先验。
论文的 SFT 与 RL 两个阶段都只更新 LoRA 参数，这是其算力可行性（消费级 3090 集群）和防止灾难性遗忘的关键设定，读实验配置时必须知道哪些模块在训练。
GRPO 群组相对策略优化
GRPO 是 PPO 的变体：对同一条件采样一组候选，用组内奖励的均值和标准差把每个候选的奖励标准化为相对优势，从而省去价值网络，再用 PPO 式比例裁剪更新策略。Flow-GRPO 把它扩展到流匹配模型：用 Flow-SDE 注入随机性采多条去噪轨迹，对终端图像打分，配合对冻结参考模型的速度 MSE 惩罚约束策略不漂移过远。
CrossTimeEdit 的第二训练阶段就是 Flow-GRPO 在线 RL，奖励由 VLM 打分提供且不回传梯度；读懂 Eq.(6) 的对数密度比与 Eq.(7) 的裁剪目标都需要这一背景。
跨视角对应与球面全景几何
跨视角任务研究同一地点的地面街景与头顶卫星影像之间的对应，经典数据集 CVUSA、CVACT、VIGOR 提供成对样本。街景全景是 360° 圆柱投影：水平方向首尾物理相连、存在强拉伸畸变。本文把全景做真北对齐（中心为北、左 1/4 为西、右 1/4 为东、两侧边均为南），从而与北朝上的卫星图建立确定的方向映射。
数据集的 N/E/S/W 四方向指令、IA 奖励的方向正确性判分、QP 的全景边界连续性检查，全部建立在这套全景几何约定上，不懂就无法理解指令和评分协议。
VLM-as-Judge（视觉语言模型评分）
用多模态大模型按文字评分细则对生成结果打分，可评估指令对齐、真实感等规则指标无法度量的属性。本文用 Gemini-3.1-Flash-Lite 在温度 0 下输出 JSON 分数：编辑协议 IA/BP/QP 为 0-10 分，跨视角协议 CV-C/CV-VR/CV-PQ 为 1-5 分，同一套协议既提供 RL 奖励又做离线评测，并用人类偏好研究验证其与人类判断的相关性。
这是本文奖励设计和评测协议的核心机制，也是理解『奖励即评测』这一方法论及其风险的钥匙。
PSNR / SSIM / LPIPS / SD 图像相似度指标
PSNR 基于逐像素 MSE 衡量像素保真（dB 越高越好）；SSIM 比较局部亮度、对比度与结构相似性；LPIPS 在 AlexNet 特征空间度量感知距离（越低越好）；SD（sharpness difference）比较生成图与参考图的梯度幅值差异，反映边缘强度的一致性。四者都要求与真值逐像素对齐，适合衡量保真、不擅长衡量语义正确性。
论文结果出现『VLM 分数高但 PSNR 低于 Sat2Density』的矛盾，理解这些指标各自衡量什么、偏好什么，是解读 Table 3 与人类偏好研究的必要前提。
研究动机
历史街景影像从人的视角记录城市演变，能反映卫星俯视看不到的建筑立面、道路形态与街景细节，是分析城市更新的重要 street-level 证据。但街景采集在空间和时间上都不均匀，导致历史记录存在大量空洞。现有跨视角数据集要么完全没有时间维度：CVUSA 提供 44,416 对、CVACT 提供 128,334 对、VIGOR 提供 105,214 张全景，均只有单一时期的街景-卫星对应；CV-Cities 虽覆盖 223,736 对但同样无时间观测；CityPulse 提供街景时间序列却只有 757 条且没有配对卫星影像。想补上缺失的历史街景，一条现成路径是卫星到街景生成（Sat2Density、Sat2Scene、ControlS2S、CrossViewDiff、SatDreamer360 等），但这类模型从随机噪声合成完整街景，而卫星影像对建筑立面、纹理和被遮挡结构的约束非常稀疏，容易把跨越十年一直存在的建筑与道路也一并改掉，产出的『历史街景』保真度低。通用图像编辑模型（InstructPix2Pix、MagicBrush、OmniGen2 等）又面向普通透视图设计，难以在强畸变的 360° 全景上做位置精确的恢复。
本文的目标是本文的目标可以拆成三件事。第一，构建 VIGOR-his 数据集：覆盖三大洲 11 座城市、43,653 个位置级四元组，每个四元组包含同一地点相隔约十年的早年/近年街景全景（2048×1024）与两个时期各一块 512×512 卫星影像，并附带变化类别（建筑/道路/双变化/无变化）、基于卫星的四方向变化描述、以及接地到街景的局部编辑指令（MODIFY/PRESERVE）。第二，把历史街景生成重新表述为一个编辑问题：以近年街景约束拍摄视角和未变化外观，以两期卫星差异作为变化证据，通过局部编辑指令从近年街景生成早年街景 $\hat{I}_h$，而真实早年街景 $I_h$ 只用于监督与评测、不作为生成输入。第三，训练 CrossTimeEdit 模型：从 FLUX.2 [Klein] 4B 出发，经 SFT 加在线强化学习，并设计 IA/BP/QP 三准则，同一协议兼任 RL 奖励与编辑评测。
与已有工作不同的是，本文最独特的切入角度是把『从卫星想象过去』换成『以现在为底稿修改过去』。同地点早晚年街景共享拍摄视角与持续存在的内容，用近年街景做视觉参考等于免费锁定了机位、相机高度和所有不变区域，把生成问题的自由度压缩到真正发生变化的局部；卫星差异则只负责告诉模型『哪里改、改成什么历史状态』。这种信息分配方式的本质区别在于：几何与纹理来自参考图而非想象，时间变化来自卫星证据而非噪声。第二个独特点是其对数据缺口的判断：没有任何现有数据集同时提供时间配对的跨视角证据和编辑监督（VIGOR 缺早年观测、CityPulse 缺卫星对、CVUSA 缺时间观测），因此作者用一条全自动的多 VLM 管线自建了带变化标注与指令的 VIGOR-his。第三个独特点在训练侧：把 GDPO 的『维度解耦归一化』思想嵌入 Flow-GRPO，让方差各异的 IA、BP、QP 三个奖励维度在聚合前各自标准化，避免高方差维度主导策略更新。
核心方法
直觉上，方法遵循『保存不变、只补变化』：近年街景 $I_c$ 已给出相机位置、视角高度和未变化内容；两期卫星影像相减能指出哪些建筑或道路发生改变及其历史形态；把两者组合成局部编辑指令，就把生成早年街景 $\hat{I}_h$ 的难题转化为对 $I_c$ 的定向编辑。技术路线分两条线。数据线（VIGOR-his）：VIGOR 四城（芝加哥、纽约、旧金山、西雅图）以 2019 年全景为近期观测、检索 2008-2009 年早年观测，另新增巴塞罗那等七城采集 2012-2015 与 2022-2025 两期；经 Haversine 距离 5 m 容差配对、25 m 聚类去重、真北对齐后，用多 VLM 管线完成视角筛选、四类变化分类、跨视角/时间一致性打分（≥7/10 保留）、卫星四方向变化描述、MODIFY/PRESERVE 指令生成与三准则校验。训练线（CrossTimeEdit）：冻结 FLUX.2 [Klein] 4B 主干、MLP 与编解码器，只训练注意力投影 LoRA（rank 32，$\alpha=32$）；先做两阶段各 5 epoch 的 SFT（lr $3\times10^{-5}$ 常驻、$5\times10^{-5}$ warmup-stable-decay），再用 Flow-GRPO 做在线 RL：每轮 50 个条件、每条件采 8 个候选，Gemini-3.1-Flash-Lite 打 IA/BP/QP 三维奖励，经 GDPO 式维度归一化按 0.45/0.30/0.25 加权后做 PPO 式裁剪更新，共 240 epoch，取验证集最优的 epoch 200。
核心创新有三点。其一，任务重构：不同于卫星到街景生成模型从噪声完整合成街景，CrossTimeEdit 把历史街景生成为条件编辑——未变化内容直接继承自近年输入，视角和纹理无需凭空想象，模型只负责补足卫星可见的结构变化；编辑的局部性由实体与相对方位描述界定而非像素掩码，适配全景畸变。其二，三准则奖励与评测一体化：指令对齐 IA 用 $I_c$、$\hat{I}_h$、$I_h$、$c$ 四元输入检查编辑是否完整、准确且方向正确（早年真值提供指令写不下的位置级证据）；背景保持 BP 以输入 $I_c$ 为参照，检查指令未涉及区域——擅改建筑、道路、墙体、围栏重罚，植被变化中度惩罚，天气行人车辆不罚；质量与物理合理性 QP 检查撕裂、重复、异常模糊、尺度失真与全景左右边界连续性。同一 Gemini-3.1-Flash-Lite 协议（温度 0）既当 RL 奖励又当离线评测，训练目标与评测指标严格一致。其三，多奖励聚合引入 GDPO 的维度解耦归一化（DGN）：先组内标准化每个维度 $z_{m,i}=(r_{m,i}-\mu_{m,g(i)})/\max(\sigma_{m,g(i)},\epsilon)$，再加权 $a_i=0.45z_{IA,i}+0.30z_{BP,i}+0.25z_{QP,i}$，最后批次级归一化并把优势裁剪到 $[-A_{max},A_{max}]$，防止高方差维度淹没其他目标。
方法步骤详情
数据构建六步。① 收集与预处理：VIGOR 四城以 2019 年全景为近期观测、检索 2008-2009 年早年观测；七座新城按 100 m 间隔采样两期；街景 2048×1024、卫星 512×512，按 heading 做真北对齐。② 空间配对：Haversine 距离 5 m 内配对早晚年全景（新城先做 25 m 聚类、对已选对中点 25 m 内去重），裁剪北朝上卫星窗口。③ 视角筛选与变化分类：Gemini-3-Flash-Preview 借助持久建筑轮廓与道路消失点剔除朝向严重错位的对，并分为建筑/道路/双变化/无变化四类。④ 一致性筛选：GPT-5.6-Luna 对两个时期分别打街景-卫星一致性分，无变化样本追加两条时间一致性检查，所有适用分数 ≥7/10 才保留。⑤ 描述与指令：Gemini-3.1-Pro-Preview 比较两期卫星、按东南西北四方向写变化描述（只写街面可见变化），再结合近期全景生成 MODIFY/PRESERVE 指令，显式处理遮挡、透视与南向跨界连续性。⑥ 指令校验：Gemini-3.1-Flash-Lite 打 Grounding/Consistency/Preservation 三分，均 ≥7 保留，并丢弃全 PRESERVE 的变化样本。训练两阶段：SFT 用 21,993 样本（8,797 变化+13,196 无变化；无变化样本四方向全 PRESERVE、以输入为目标学恒等映射），最小化加权流匹配速度损失 $\mathcal{L}_{SFT}=\mathbb{E}\,\omega_j\|v_\theta(z_j,t_j;q)-(\eta-z^\star)\|_2^2/D$；RL 在约 2,000 个变化条件上跑 Flow-GRPO：以 epoch-9 SFT 检查点为初始化和冻结参考，DGN 优势配合 $1\pm10^{-3}$ 比例裁剪与 $\beta=2\times10^{-3}$ 速度 MSE 参考惩罚，训练分辨率 384×768、评测 512×1024。
技术新颖性
技术新颖性可从四个层面评估。数据层面，VIGOR-his 是首个同时具备十年级街景-卫星时间四元组、卫星接地变化描述与局部编辑指令的跨视角数据集：Table 1 显示 CVUSA/CVACT/VIGOR/CVGlobal/CV-Cities/VIGOR++ 均无时间街景观测，CityPulse 有时间街景却无跨视角配对，VIGOR-his 是唯一在五个维度（跨视角配对、时间街景、时间卫星、跨视角时间对齐、文本模态）全打勾的数据集。任务层面，把历史街景生成形式化为『参考图+变化证据』的编辑问题，是对卫星到街景生成范式的实质修正，而非简单的模型替换。训练层面，Flow-GRPO 与 GDPO 均为已有工作，但把 GDPO 的维度解耦归一化嵌入 Flow-GRPO 处理三维 VLM 奖励是新的组合：消融显示去掉 DGN 后 Overall 从 7.964 降到 7.755，去掉 IA 奖励中的早年真值参考（w/o GT）降到 7.656，SFT 与 RL 缺一不可（w/o RL 6.759、w/o SFT 6.893）。评测层面，三准则协议明确区分『抄输入』『过度改写』『几何缺陷』三种失败模式，并以 15 人、275 组两两比较的人类研究验证 VLM 分数与人类偏好的模型级一致性（编辑协议 Pearson r=0.804、Spearman ρ=0.843；跨视角协议 Spearman ρ=1.000）。
实验结果
编辑对比（Table 2，1,094 个测试位置）：CrossTimeEdit 取得 IA 7.950、BP 8.264、QP 7.631、加权 Overall 7.964；相对底座 FLUX.2 [Klein] 4B（IA 5.960、Overall 6.800），IA 提升 33.39%、Overall 提升 17.12%；PSNR 12.589、SSIM 0.463、LPIPS 0.530、SD 18.705 在编辑模型中全部最佳。开源阵营中 IA、QP、Overall 均列第一，超过 FLUX.2 [Klein] 9B（7.426）、LongCat-Image-Edit（7.360）、OmniGen2（4.893）；IA 与 QP 接近闭源模型，但 BP 8.264 低于 GPT-Image-2 的 9.633 与 Nano Banana 2 Lite 的 9.161，Overall 也低于 GPT-Image-2 的 8.581，背景保持仍是短板。跨视角对比（Table 3）：在 VIGOR-his 上重训的 Sat2Density、ControlS2S、ControlNet 的 Cross-view Overall 仅 2.015/2.084/1.740（1-5 分制），CrossTimeEdit 达 3.546（CV-C 3.005、CV-VR 3.980、CV-PQ 3.998），全面领先；但其 PSNR/SSIM 低于 Sat2Density 的 14.685/0.532，作者用人类偏好研究解释该矛盾。人类研究（Table 7）：15 名志愿者对 11 个模型做 275 组两两比较，CrossTimeEdit 胜率 64%（第 4），Editing Overall 与人类胜率的 Pearson r=0.804、Spearman ρ=0.843；四个跨视角方法的人类胜率 64%/30%/14%/0% 与 VLM 排名完全一致（r=0.896、ρ=1.000）。消融（Table 4）：仅 SFT（w/o RL）使 IA 升至 6.919 但 BP 跌至 6.698；SFT+RL 把 BP 恢复到 8.264、IA 提到 7.950；w/o SFT 仅 6.893，w/o GT 7.656、w/o DGN 7.755，证明各组件缺一不可。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 历史街景编辑 · 综合表现（VIGOR-his 测试集） | Editing Overall（0-10，0.45·IA+0.30·BP+0.25·QP） | 7.964 | FLUX.2 [Klein] 4B（预训练底座）6.800 | +17.12% |
| 历史街景编辑 · 指令对齐 | IA（0-10） | 7.950 | FLUX.2 [Klein] 4B 5.960 | +33.39% |
| 编辑模型对比 · 与闭源最优差距 | Editing Overall（0-10） | 7.964 | GPT-Image-2 8.581（闭源第一）；Nano Banana 2 Lite 8.302 | 落后 0.617 分（约 7.2%），开源第一但仍未超越闭源 |
| 跨视角生成对比 | Cross-view Overall（1-5） | 3.546（CV-C 3.005 / CV-VR 3.980 / CV-PQ 3.998） | ControlS2S 2.084；Sat2Density 2.015；ControlNet 1.740 | +70.2%（相对次优 ControlS2S） |
| 像素级保真（编辑模型组） | PSNR(dB) / SSIM / LPIPS / SD | 12.589 / 0.463 / 0.530 / 18.705 | FLUX.2 [Klein] 4B 12.215 / 0.422 / 0.550 / 18.545 | 四项均为编辑模型最佳；但 PSNR 低于跨视角模型 Sat2Density 的 14.685 |
| VLM 评测与人类偏好一致性 | Pearson r / Spearman ρ（VLM Overall vs 人类胜率） | 编辑协议 0.804 / 0.843（CrossTimeEdit 人类胜率 64%）；跨视角协议 0.896 / 1.000 | — | 验证了『奖励即评测』协议与人类判断的模型级一致性 |
局限与改进
作者在附录 E 明确承认三类局限：一是跨视角可见性差异——卫星上可见的变化在街面可能被遮挡（例如早年卫星显示的停车场实际被围挡挡住），模型无法可靠执行指令；二是自动时间一致性筛选无法根除卫星与街景的状态错配，Figure 9 顶部案例中早年卫星显示工地而早年街景真值已是建成建筑，训练信号本身互相矛盾；三是卫星影像缺少立面级证据，生成复杂历史建筑时指令欠规定，输出只是多种合理假设之一而非对真实过去的精确复原。我自己的观察补充四点：BP 与 Overall 仍落后闭源模型（8.264 vs GPT-Image-2 的 9.633），在密集不变结构的城市场景中保持能力还有硬差距；奖励模型、验证集选点与最终评测全部使用同一个 Gemini-3.1-Flash-Lite 协议，存在对单一评测器过拟合的 reward hacking 风险，人类研究也只在模型层面验证了排序一致性，未验证样本级一致性；数据全部来自 Google 街景/地图的 11 座北美、欧洲、澳洲城市，地域与数据源偏差明显，对发展中城市形态的泛化未知；跨视角协议使用 1-5 的粗粒度量表，且所有 VLM 分数（即便温度 0）仍受模型版本与提示词影响，绝对数值不宜跨论文比较。
独立分析的弱点
独立分析几点弱点。第一，评测闭环自证：训练奖励、验证集模型选择、最终评测和跨视角评测全部由同一 Gemini-3.1-Flash-Lite 协议承担，模型很可能学会讨好该评测器的偏好——作者也在结论里承认存在 evaluator-specific preferences；改进方向是训练独立的奖励模型或用多 VLM 集成做评测。第二，变化证据的信息瓶颈：卫星俯视无法提供立面材质、店招、窗型等街面细节，MODIFY 指令对复杂建筑先天欠规定，失败案例已证明这类输出可以与真值差异巨大；改进方向是接入历史地图、建筑足迹或档案照片作为补充证据源。第三，变化语义覆盖窄：分类只覆盖建筑与道路两大结构性变化，刻意忽略植被、附属设施与临时物，而城市演变中的大量微观变化（绿化、店面更替）被排除在监督之外；且无变化样本占约 60%（13,196/21,993），真正带编辑监督的变化样本只有 8,797 个，编辑容量可能受限。第四，分辨率损失：原始 2048×1024 全景在 SFT 时降到 512×1024、RL 时甚至 384×768 训练，细粒度纹理（招牌文字、砖缝）必然受损；改进方向是分块高分辨率训练或仅对变化区域做局部重绘再无缝融合。第五，管线成本与可复现性：数据清洗依赖 Gemini-3-Flash-Preview、GPT-5.6-Luna、Gemini-3.1-Pro-Preview、Gemini-3.1-Flash-Lite 四个商用模型，API 费用高且 preview 版本随时下线，第三方难以原样重建。
未来方向
作者在附录 F 提出三个方向。其一是更丰富的历史证据：当前变化证据几乎全部来自配对卫星观测，无法揭示立面、店招、路面细节或被遮挡结构，未来可整合历史地图、航空影像、建筑足迹、档案照片与地面记录，降低卫星不可见区域的歧义、生成更有信息量的局部编辑指令。其二是独立的奖励与评测模型：用独立奖励模型、多 VLM 集成或人类校准的评测器替代单一协议，减少评测器偏好并抑制对单一评测协议的过拟合。其三是双向与多时相生成：现任务是『近年街景+卫星差异→早年街景』，可反转为『历史街景+近期卫星→现代街景』，并把两期扩展到连续或多期观测，建模更长时段的城市演化轨迹。基于本文成果还可延伸：把 IA/BP/QP 三准则奖励协议迁移到老照片修复、街景去季节化等其他参考图引导编辑任务；用 VIGOR-his 训练跨视角变化检测与描述模型反哺数据管线；结合 SatDreamer360 类方法把单帧历史街景扩展为几何一致的街景视频；以及在 Mapillary 等开放数据源上复刻数据管线，检验跨地域、跨数据源的泛化能力。
复现评估
复现条件总体较好。代码、数据集与模型权重在项目页 https://luhanwen67.github.io/CrossTimeEdit-release/ 开源；论文附录完整公开了数据构建的全部六组提示词（Appendix D，含评分细则与输出格式）、六个评测/奖励提示模板（Appendix A.3）、像素指标定义（Appendix B.2）、完整训练配置（Table 5：两阶段 SFT 各 5 epoch、lr $3\times10^{-5}$/$5\times10^{-5}$、有效 batch 16；Table 6：RL 50 条件×8 候选×2 更新、裁剪与惩罚系数、API token 预算）以及数据切分与随机种子（RL 与评测 seed 42）。算力门槛低：全程 8 张 NVIDIA RTX 3090（24 GB），只训练 rank 32 的注意力 LoRA，SFT 约 13,750 步、RL 240 epoch（480 次更新），消费级多卡即可复跑。主要障碍有三：需要合法获取 FLUX.2 [Klein] 4B 底座权重；数据管线与奖励/评测依赖 Gemini 与 GPT 系列商用 API，有持续费用且 preview 版本可能失效，复现者需替换为可得的等效模型；VIGOR-his 若以元数据形式发布，原始街景-卫星影像仍需按附录 A.1 的流程从 Google 平台重新抓取，受服务条款约束。综合评估属于中等规模、难度中等的复现，评测协议部分（温度 0 的固定提示词）几乎可以逐字复刻。
论文图表
对比现有跨视角数据集与 VIGOR-his：左侧指出 CVUSA/CVACT/VIGOR 等缺乏长时段时间配对、采集时间差可能导致卫星与街景状态错配；右侧展示 VIGOR-his 的四大特性——约相差十年的早年/近期街景与卫星配对、基于采集期匹配与 Gemini 视觉筛查的一致性保证、横跨三大洲 11 城的地理覆盖、以及变化类别+卫星变化描述+局部编辑指令三类标注，并附带按年份和变化类别的样本分布示意。
一图看清本文数据集相对所有前作的差异化定位，是理解『为什么必须自建 VIGOR-his』的最快入口。
两个失败案例：顶部案例中平行线斑马线远离卫星图中心、街面视角看不清，且早年卫星显示工地而早年街景真值已是建成建筑（时间状态错配），导致模型与 GPT-Image-2 都无法正确执行；底部案例要求凭卫星证据生成复杂历史建筑，立面细节缺失使指令欠规定，生成结果与真值差异较大。
作者对失败模式的自省，直接对应附录 E 的三条局限性（可见性差异、状态错配、立面证据不足），是评估方法适用边界的关键材料。