BRDFusion：物理建模与生成扩散融合的城市动态场景逆向渲染

融合物理渲染与生成先验，实现可控高保真城市场景逆渲染

前置知识

3D Gaussian Splatting (3DGS)

用一组可学习的 3D 高斯椭球（由均值 $\mu$、协方差 $\Sigma$、不透明度 $o$ 和球谐颜色构成）表示场景，通过可微光栅化实现实时新视角合成。每个高斯可附带法线、粗糙度、金属度等材质属性，是本论文的几何与材质载体。

BRDFusion 用 3DGS 作为显式 3D 表示，正是这种显式表示才让物理 PBR 中的光线追踪阴影、跨视角一致的内在属性以及可控重光照成为可能。

物理基础渲染 (PBR) 与 Cook-Torrance BRDF

PBR 基于渲染方程 $L_o = \int f \cdot L_i (\omega_i \cdot \mathbf{n}) d\omega_i$ 模拟光传输，$f$ 用 Cook-Torrance BRDF 描述表面反射，由法线分布、几何遮蔽、菲涅尔项构成，可表达金属、塑料等真实材质。

PBR 是 BRDFusion 物理部分的引擎，让本方法可以精确控制光源、车灯方向与强度，但 PBR 本身因 Monte Carlo 噪声和几何重建误差存在瑕疵，需要生成模型修复。

SDEdit（随机微分编辑）

SDEdit 是基于预训练扩散模型的图像编辑方法，先把输入加噪到中间时间步 $\tau$，再用扩散模型从该步去噪，可在保留整体结构与光照的同时改善局部细节与真实感，避免 SDS 类蒸馏的过饱和问题。

BRDFusion 的两个核心操作都基于 SDEdit：正向渲染阶段用它修复 PBR 结果，反向渲染阶段用它精修 G-buffer，正是 SDEdit 的'部分去噪'特性让物理可控性与生成逼真度可以共存。

HDR 环境贴图 (Environment Map)

将无穷远方向光辐射用一张高动态范围全景图（如 $512 \times 1024 \times 3$）存储，可按方向 $\omega$ 查询入射亮度 $E(\omega)$，是户外场景太阳与天空光照的紧凑表达。

本文用 HDR 环境贴图作为光照表示，使得'换一张天空就改变整场景光照'的重光照任务只需替换贴图；PBR 阶段通过重要性采样查询 $E(\omega)$ 完成 Monte Carlo 积分。

渲染方程 (Rendering Equation)

Kajiya 提出的光传输基本方程，描述表面点 $\mathbf{x}$ 在出射方向 $\omega_o$ 的辐射 $L_o$ 等于自发光加上所有入射方向辐射被 BRDF 调制后的积分，是所有物理渲染算法的理论基石。

BRDFusion 的 PBR 步骤严格遵循该方程（论文 Eq. 2 给出 Monte Carlo 近似形式），保证光照的物理一致性，这是其相对纯生成方法的核心优势。

研究动机

城市动态场景的逆向渲染（从图像反推几何、材质、光照）是一个高度欠定问题。现有方法分两大流派但各有致命缺陷：纯物理派如 InvRGB+L 在 Waymo 数据集上虽然能引入 LiDAR 反射模型提升材质估计，但因优化存在歧义，重建结果布满几何伪影，且把阴影'烘焙'进地面和反照率，导致重光照时阴影错乱；纯生成派如 DiffusionRenderer（DR）配合 Gen3C 虽然画面逼真，但缺乏显式 3D 表示，既无法生成多视角一致的长时间序列，也无法精确控制局部光源（车灯、街灯）的方向与强度，无法模拟夜间场景。Fig. 2 直观展示了这种 trade-off：(b) 物理方法有伪影，(c) 生成方法丢失光照控制，(d) 本文方法兼顾二者。

本文的目标是本文目标是构建一个统一框架 BRDFusion，对动态城市场景（包括车辆、行人等可动实体）从稀疏多视角视频恢复出高质量几何（法线、深度）、PBR 材质（反照率 $a$、粗糙度 $r$、金属度 $m$）和 HDR 环境光，并支持新视角重光照、夜景仿真、动态物体插入等下游任务。要求同时满足：(1) 物理可控——能精确控制光源位置、方向；(2) 视觉逼真——消除 Monte Carlo 噪声与几何伪影；(3) 多视角时间一致——长序列不抖动、不漂移。

与已有工作不同的是，本文的独特切入角度是把 PBR 与扩散模型在'前向渲染'和'反向渲染'两个环节都耦合起来：在前向阶段 PBR 出图用 SDEdit 修复，在反向阶段则用 SDEdit 精修 G-buffer 形成多视角一致的材质先验。这与以往纯'PBR + SDS 蒸馏'或'2D 生成模型逐帧生成'的方案形成鲜明区别——前者易过饱和、后者无 3D grounding。本文还设计了基于场景图（scene graph）的可动实体建模与滑动窗口 G-buffer 融合策略，专门解决驾驶视频长序列与动态物体两大痛点。

核心方法

BRDFusion 的整体思路是'物理骨架 + 生成肌肉'。它把场景表达为一组带 PBR 材质属性的 3D 高斯（背景静态 + 通过 3D 包围盒构建的可动节点）+ 一张 HDR 环境贴图 $E$。整个系统分两条主线：前向渲染把场景表示转成图像，依次经过体渲染（光栅化 G-buffer）、物理 PBR（基于渲染方程的着色）、生成去噪（SDEdit 风格的视频扩散模型修复）三步；反向渲染则按四阶段多阶段优化（体渲染阶段 → 生成精修阶段 → 物理逆渲染阶段 → 联合精修阶段），每一阶段分别处理几何、材质、光照的不同子问题，最终收敛到可控且逼真的解。

核心创新点是与已有方法有三点本质区别：(1) 双向耦合——以前 DiffusionRenderer 等是 2D 逐片段视频模型，BRDFusion 把生成过程锚定到 3D 高斯场景图上，通过 SDEdit 以 PBR 渲染初始化去噪轨迹，保证生成结果尊重显式光照变化；(2) SDEdit 的双重角色——SDEdit 既用于正向渲染时修复 PBR 噪声，也用于反向优化时把不一致的 per-frame G-buffer 先验变成多视角一致的监督信号，避免滑动窗口融合带来的模糊；(3) 显式 HDR 照明 + Cook-Torrance BRDF——光照不是烘焙进材质里，而是作为独立可优化的 $512 \times 1024 \times 3$ 环境贴图，配合重要性采样与高斯光线追踪实现的可见性 $V$，使局部光源（车灯、街灯）可以在 3D 空间中精确放置并产生物理正确的阴影。

方法步骤详情

前向三步：(1) 体渲染——splat 高斯做 alpha-blending 得像素颜色 $C=\sum_i T_i \alpha_i c_i$，光栅化 $\{O,D,N,A,R,M\}$ 六张 G-buffer；(2) PBR pass——反投影表面点，沿 $N_r$ 条光线（训练 512、测试 256）按环境贴图重要性采样 $\omega_i$，高斯光线追踪得 $V$，按 Eq. 2 用 Cook-Torrance BRDF 做 Monte Carlo 积分 + 色调映射到 LDR；(3) 生成渲染——LDR 视频加噪到 EDM 中间步 $\tau$，视频扩散 $F^{fwd}_\theta$ 以 G-buffer+环境贴图为条件去噪得 $C^{1:F}_{gen}$。反向四阶段：(a) 体渲染 30k 次优化 Eq. 4 $\mathcal{L}_{vol}$；(b) SDEdit + $F^{inv}_\theta$ 精修不一致先验为时间一致 $X'_g$；(c) 冻结几何材质优化 Eq. 5 $\mathcal{L}_{pbr}$ 解耦光照；(d) 联合优化 20k 次收尾。

技术新颖性

技术新颖性体现在三方面：第一，'3D Gaussian + SDEdit'的耦合范式把生成模型从 2D 提升到 3D grounded，生成过程不再凭空 hallucinate，而是被 PBR 渲染结果初始化和 G-buffer 条件约束，物理可解释性与生成逼真度同时具备；第二，'SDEdit-as-G-buffer-denoiser'的复用——同一个 SDEdit 操作既在测试时去噪 PBR 结果，也在训练时把不一致先验变一致，等于把扩散模型当作可微的多视角一致性约束器，这是对 SDEdit 用法的拓展；第三，针对驾驶场景特有的长序列与可动物体问题，引入场景图（scene graph）表示和滑动窗口 G-buffer 融合策略，弥补了视频扩散模型帧数限制的不足。

**Fig. 3**: Overview of hybrid forward rendering pipeline

**Fig. 4**: Inverse Rendering with physical and generative models

实验结果

Waymo 真实与 6 个合成场景上 BRDFusion 全面领先：(1) 逆渲染（Table 1）——粗糙度 RMSE 0.187（第二 InvRGB+L 0.329）、金属度 RMSE 0.174（最佳）、法线 MAE 17.11°（最佳），反照率 si-PSNR 18.99 与最佳 19.33 接近；(2) 新视角合成 PSNR 21.83 略低于最佳 22.74，为可控性付少量视觉代价；(3) 新视角重光照（核心）——PSNR 18.33 显著高于 Gen3C+DR 16.49（+1.84 dB）、UrbanIR 15.61、InvRGB+L 14.55，SSIM 0.604 最高；(4) 消融（Table 2）——无 PBR 优化合成 PSNR 暴跌至 13.58，无生成优化法线 MAE 爆炸至 110.8°，无生成渲染重光照 PSNR 18.83→18.64，证三组件缺一不可；(5) Fig. 5/6 显示基线分别出现阴影烘焙、几何伪影、修改场景结构（树木）等失败模式，BRDFusion 是唯一兼顾清晰与光照的方案。

**Table 1**: Quantitative comparison on synthetic data

**Table 2**: Ablation study on our synthetic dataset

**Fig. 5**: Qualitative Comparison of View Synthesis and Relighting on Waymo dataset

**Fig. 6**: Inverse Rendering on Waymo dataset

查看结构化数据

任务	指标	本文	基线	提升
Inverse Rendering - 粗糙度估计	RMSE ↓	0.187	InvRGB+L 0.329	降低 43.2%
Inverse Rendering - 金属度估计	RMSE ↓	0.174	Gen3C+DR 0.321	降低 45.8%
Inverse Rendering - 法线估计	MAE ↓ (°)	17.11	InvRGB+L 17.67	降低 3.2%
Inverse Rendering - 反照率估计	si-PSNR ↑	18.99	Gen3C+DR 19.33	略低 0.34 dB，差距可忽略
Novel View Synthesis	PSNR ↑	21.83	Gen3C+DR 22.74	略低 0.91 dB（换可控性）
Novel View Relighting	PSNR ↑	18.33	Gen3C+DR 16.49	+1.84 dB（约 30% 误差下降）
Novel View Relighting	SSIM ↑	0.604	Gen3C+DR 0.599	+0.005

局限与改进

作者在论文 Limitations 章节坦诚承认三点局限：(1) 不显式建模发光材质——支持插入虚拟局部光源，但无法分解真实夜间视频中已激活的车灯、街灯，因为这些光源在输入中被当成高亮像素被反照率'吞掉'，无法区分反射与自发光；(2) 未观测区域的漂浮物（floater）——所有 3D 重建方法的通病，BRDFusion 在训练视角覆盖不到的角度仍会出现游离高斯；(3) 生成模型的灾难性失败——尽管 SDEdit 缓解了不一致，扩散模型仍可能在极端视角下生成错误分解，导致场景属性被'幻觉'修改。我自己的额外观察：(4) 单张 RTX A6000 训练 10-11 小时、$N_r=512$ 采样，计算开销显著大于纯 3DGS，重光照时仍需要重新跑生成模型；(5) Table 2 显示新视角合成 PSNR（20.54）不如纯生成基线（22.74），说明'物理可控'与'纯视觉保真'之间仍存在权衡，工程上需要根据下游任务在两种方案间选择。

独立分析的弱点

(1) 缺乏自发光建模——这是限制夜间应用的最大短板，可引入 emission 项 $\mathcal{L}_e=\|E_{pred}-E_{gt}\|$，给每个高斯新增 emissive RGB 属性加入 Eq. 4 监督，将高亮像素解耦为反射+发光；(2) 滑动窗口伪影未根除——可借鉴 OmniRe temporal smoothing 加跨帧隐式状态传递，或 SDEdit 后用轻量 3D 卷积后处理融合；(3) 新视角合成 PSNR 比纯生成低——SDEdit 在修正 PBR 噪声时可能引入 hallucination，可加判别器自适应混合 PBR 输出与 SDEdit 输出权重；(4) 算力开销大——单卡 10h 不友好，可把 $N_r$ 减半并用 analytic 闭式 importance sampling，或把扩散蒸馏成 2-3 步 Consistency Model。

未来方向

作者暗示的未来方向集中在三方面：(1) 把发光材质建模加入逆渲染流程，让 BRDFusion 能直接处理夜间真实视频；(2) 解决生成模型的失败案例（详见补充材料），可能需要引入结构约束如深度一致性损失或对抗训练；(3) 探索更细粒度的场景编辑。基于本文成果可以延伸的方向还包括：(4) 把方法推广到室内场景或非驾驶城市视频，需要解决室内多光源、漫反射主导的物理差异；(5) 把 HDR 环境贴图 + 局部点光源用于驾驶模拟器（如 CARLA 集成），自动生成罕见危险场景训练数据；(6) 引入 4D 动态建模（不仅是车辆位姿，还包括形变）以支持行人开门、车辆变形等更精细应用；(7) 结合大语言模型让用户用自然语言指定重光照指令（如'日落时分下大雨'），自动调用对应 HDR 贴图与雨滴几何。

复现评估

复现难度中等偏高：(1) 代码——项目页 https://shigon255.github.io/brdfusion-page/ 已公布，但截至论文未明确开源 GitHub；依赖的 DiffusionRenderer、DiffusionLight、OmniRe、3DGRT 有开源实现但版本对齐工作量大；(2) 数据——Waymo 需申请许可，6 个合成场景需 Blender Cycles 重建，使用 [6] 城市资产与 [59] HDR 库；(3) 算力——单张 RTX A6000 训练 10-11 小时（含两个 30k 体渲染 + 5k PBR + 20k 联合 + SDEdit），$N_r=512$ 光线追踪需 40GB+ 显存；(4) 超参——给出 $\omega_{1..3}$ 与学习率 $1\times 10^{-5}$，但完整 YAML 未发布，迭代次数与种子敏感；(5) DiffusionRenderer / DiffusionLight 权重闭源仅可推理，无法微调，限制了对不同城市的适应性。

BRDFusion：物理建模与生成扩散融合的城市动态场景逆向渲染 BRDFusion: Physics Meets Generation for Urban Scene Inverse Rendering