WildRelight：单图重光照的真实世界基准与物理引导的自适应方法 WildRelight: A Real-World Benchmark and Physics-Guided Adaptation for Single-Image Relighting

数据集采集步骤 (Protocol)：(a) 把 Sony A7 主相机 (ISO 100, f/4, 5000K 白平衡, 40mm 焦距, 16bit RAW) 和 Insta360 Pro 2 全景相机 (匹配 ISO/WB) 装在同一导轨上；(b) 用无平移视差法 (no-parallax point) 标定 Sony A7 镜头的入瞳位置，再把 Insta360 光学中心竖直对齐到该轴；(c) 先拍 envmap、紧接着拍主相机照片，两次切换控制在 1-2 分钟内以减小光变化；(d) 在 11:00-17:00 每 45-60 分钟采样一次，日落前 17:00 后加密到 10-15 分钟一次，每个场景 5-7 组；(e) 用 X-Rite ColorChecker 做一次性跨相机色彩校正 (RAW 域 16bit linear)，对包围曝光用三角权重 $w(z)=1.0-|2z-1.0|$ 加权合成 HDR float64 EXR；(f) 用人工 pairwise 对比对每帧动态区域 (风吹树叶等) 标注二值 mask。物理引导 DPS 步骤：(1) 在 DDIM 第 $t$ 步，把估计的 $\hat{x}_0$ 通过 VAE 解码器 $D(\cdot)$ 得到本征分量；(2) 用可微 Cook-Torrance 渲染器 $\mathcal{R}(\cdot)$ 在目标 envmap $L$ 下重渲染，计算渲染一致性损失 $\mathcal{L}_{render}=||\mathcal{R}(D(\hat{x}_0), L) - I_{gt}||$；(3) 求梯度 $g_t=\nabla_{x_t}\mathcal{L}_{render}$，按 $x_{t-1}\leftarrow x_{t-1}-\zeta_t g_t$ 修正采样轨迹，扩散网络参数保持冻结，用 split-sum 近似稳定 IBL。Sampling-Aware TTA 步骤：(1) 对一个场景的 $N$ 组光照采用 leave-one-lighting-out，选 1 组作 target、其余 N-1 组做自监督；(2) 冻结 UNet 主干，只在注意力层注入 LoRA；(3) 跑部分 DDIM 采样，对最后 $K$ 步的 $z_0$ 解码图像与 target $I_{target}$ 计算感知损失 $\mathcal{L}=\mathcal{L}_{noise}+\lambda_{perc}\mathcal{L}_{LPIPS}(D(z_0), I_{target})$，反向传播优化 LoRA；(4) 测试时直接用适配后的 LoRA 做推理。评估时对所有方法采用全局最小二乘标量 $\alpha$ 对齐强度，再算 PSNR/SSIM/LPIPS。

技术新颖性主要体现在三点。第一，'对齐优先于规模' 的数据集设计哲学：第一次同时把单视角静态机位、户外自然光、HDR 360° envmap、严格光学中心共定位这四个对单图重光照缺一不可的要素放进同一数据集，并用 30 场景 vs 1000+ 场景的取舍换取像素级可信度。第二，把 sim-to-real domain adaptation 改写为 self-supervised temporal task：现有工作要么靠合成数据增广要么靠 OLAT 监督，本文用同一场景多个自然光照天然成对的事实，让 N-1 组光照成为第 N 组的目标监督，绕开了 G-buffer 标注成本。第三，把物理可微渲染 (DPS) 和 sampling-aware LoRA TTA 协同：单独 TTA 虽能把 PSNR 拉高 2.5 dB，但 LPIPS 从 0.3901 退化到 0.3923 (过拟合到像素强度、损失自然图像流形)，单独 DPS 提 0.95 dB 提 LPIPS 不到 0.008，二者结合后 PSNR 25.04 + LPIPS 0.3453 才是真正的物性 + 感知双优，这说明 DPS 的渲染约束起到了正则化作用，抑制了 TTA 的像素级过拟合。

(1) 评估与训练切片划分不清：Table 4 的 baseline 21.63 dB 与 Table 2 的 DiffusionRenderer 22.81 dB 在不同小节给出，但全文未明确说明两者是不同测试切片还是不同对齐策略，复现时极易混淆。改进方向是统一报告一个 'full 30-scene test split' 上的零样本基线，并把所有方法 (含本文) 放在同一对齐协议下对比。(2) TTA 阶段的 photometric-perceptual 权衡：TTA 单独把 LPIPS 从 0.3901 推到 0.3923，说明单纯靠 $\mathcal{L}_{LPIPS}$ 还不足以防止自然图像流形的偏离。改进方向是加入对抗判别器 (类似 GAN 思想) 或在特征域加自相似损失，或者干脆用扩散模型自身的多步去噪目标作为正则。(3) 物理约束基于 Cook-Torrance 简化 BRDF，对复杂材质 (皮肤次表面散射、镜面玻璃的菲涅尔) 的引导可能误导优化方向。改进方向是引入更通用的可微路径追踪 (如 Mitsuba 3 的可微版本) 或者干脆放弃 BRDF 假设、只保留能量守恒 + 单色一致性这种弱约束。(4) 动态元素目前只做 mask 排除，无法评估这些区域的重光照质量；改进方向是结合视频重光照 / 时序扩散模型，对动态区域做联合建模。(5) 数据集 30 场景对深度学习偏小，finetuning 收益 +2.67 dB 是否能随规模放大尚不确定，改进方向是增加场景 (50-100) 并保持对齐精度。

作者明确提出的方向有三个：(a) 不再 masking 动态元素而是显式建模，把风吹树叶、移动云纳入评估；(b) 优化实例级 TTA 的计算效率，让方法能向 real-time 部署靠近；(c) 进一步推进 TTA 走向 streaming 或 online 形式。基于成果可延伸的方向有：(1) 把 WildRelight 的时序结构扩展到视频域，构建 'multi-illumination video' 基准，催生视频重光照新工作；(2) 用本文 DPS+TTA 框架做环境光照估计 (envmap 估计) 任务，而不只是 envmap 已知下的重光照；(3) 把物理可微渲染扩展到神经辐射场 (NeRF) / 3DGS 表征，让单图方法升级为稀疏视角方法；(4) 利用数据集的色彩校正协议和 HDR 合成流程，构建跨相机、跨曝光的标准预处理工具，服务于其他多模态数据集；(5) 探索该数据集在 intrinsic image decomposition、BRDF estimation、relighting transfer learning 等任务上的副产品价值。

作者声明 'The dataset and code will be made publicly available'，数据集、采集协议、color/HDR 校准脚本、训练配置都会公开。从可复现性细节看，正文给出了比较完整的协议描述 (双相机、ColorChecker、HDR 合成公式 $L = \sum_i w(Z_i)\cdot(Z_i/\Delta t_i)/\sum_i w(Z_i)$、三角权重 $w(z)=1.0-|2z-1.0|$、LoRA 配置等)，但 DPS 引导强度 $\zeta_t$ 的 schedule、TTA 的 $K$ 步数、$\lambda_{perc}$ 的具体值、训练 epoch 数、batch size、GPU 型号等关键超参都在 supplementary (截至本解读不可见) 中，主干扩散模型是 DiffusionRenderer 但具体 checkpoint 也需补查。从可复现难度看，数据采集门槛较高 (需要 Sony A7 + Insta360 Pro 2 + 校准导轨 + 多次户外长时段拍摄，每个场景 5-7 组)，中小实验室难以重复采集，但代码与已发布数据可复用；Torrance 渲染器 (论文提到 'split-sum approximation') 和 LoRA 优化都是标准工具链，复现 DPS+TTA 算法本身门槛适中。整体来看代码可复现性较好、数据可复现性中等。