← 返回 2026-04-01

AutoWeather4D：基于 G-Buffer 双通道编辑的自动驾驶视频天气转换方法 AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing

Tianyu Liu, Weitao Xiong, Kunming Luo, Manyuan Zhang, Peng Liu, Yuan Liu, Ping Tan 📅 2026-03-27 👍 9 2026-07-13 08:36
3D重建 光照解耦 天气合成 数据增强 自动驾驶 视频编辑
arXiv HuggingFace PDF

提出前馈式3D感知天气编辑框架，无需逐场景优化即可实现细粒度物理控制的视频天气转换

前置知识

G-Buffer

G-Buffer（几何缓冲区）是计算机图形学中存储像素级几何属性的多个纹理图集合，通常包括深度图、法线图、反照率图、金属度和粗糙度等。这些显式的几何表示为后续的物理渲染提供了精确的结构基础，使得光照计算、表面交互等操作能够在正确的3D空间中执行。在本文中，G-Buffer 作为连接输入视频与物理编辑的关键桥梁，使得天气效果能够准确地锚定在场景表面上。

理解 G-Buffer 对本文至关重要，因为作者的核心创新正是利用显式的 G-Buffer 表示来替代传统的隐式神经表示，从而解耦几何和光照编辑，这是实现无优化前馈编辑的基础。

前馈式网络 vs 逐场景优化

前馈式网络是指输入数据经过一次前向传播即可输出结果的网络架构，无需针对每个输入场景进行迭代优化。而逐场景优化（如 NeRF、3DGS）需要针对每个场景进行数分钟到数小时的优化过程来拟合场景表示。前馈方法的推理速度快但可能精度稍低，逐场景优化则精度高但计算成本极其昂贵，不适合大规模应用。

这是本文解决的核心痛点。现有 3D 感知编辑方法依赖逐场景优化（每小时处理一个视频），本文通过前馈网络彻底解决了这个效率瓶颈，理解这个区别才能领会方法的价值。

BRDF（双向反射分布函数）

BRDF 描述了光线如何在表面上反射，是物理渲染的核心模型。本文使用的 Cook-Torrance BRDF 是一个基于微面理论的模型，能够准确模拟金属和非金属材质的反射特性。它依赖于表面法线、粗糙度、金属度等材料属性，以及光照方向和观察方向。在夜间重光照任务中，作者直接使用由 G-Buffer 提供的材料属性和估计的3D聚光灯位置，通过 Cook-Torrance BRDF 分析性地计算表面辐射度。

BRDF 是本文 Light Pass 实现物理重光照的数学基础，理解它有助于领会作者如何解耦全局和局部光照，以及为什么能够实现精确的 3D 局部光源控制。

SPH Poly6 内核

SPH（光滑粒子流体动力学）Poly6 内核是粒子系统中用于估计密度的平滑函数，常用于流体模拟和粒子积累建模。Poly6 内核具有平滑的支持区域，能够为每个粒子计算其邻域贡献，从而实现连续的表面表示。本文在雪的表面建模中使用 SPH Poly6 内核来评估法线图上的积累效果，将积雪限制在朝上的结构上以保持几何合理性。

这是实现积雪表面积累物理模拟的关键技术，理解它有助于领会作者如何混合不同表示（元球、网格、粒子）来建模多尺度雪的效果。

Henyey-Greenstein 相位函数

Henyey-Greenstein 相位函数是描述光在散射介质（如雾、云、大气）中散射方向分布的数学模型。它由不对称参数 $g$ 控制，$g>0$ 表示前向散射，$g<0$ 表示后向散射，$g=0$ 表示各向同性散射。本文使用该函数与单次散射辐射传输方程（RTE）结合，分析性地求解体积散射效果，实现距离相关的可见性衰减和局部光晕。

这是实现体积雾效果的核心物理模型，理解它有助于领会作者如何将经典图形学的物理先验集成到视频编辑流程中，确保物理一致性。

研究动机

现有自动驾驶天气合成方法面临三个核心问题。首先，生成式视频模型（如 Cosmos-Transfer2.5、WAN-FUN 2.2、Ditto 等）需要大规模数据集来学习罕见天气模式，而收集这些长尾环境数据在现实世界中极其昂贵且受到后勤约束。其次，3D 感知编辑方法（如 ClimateNeRF、WeatherEdit、RainyGS）通过增强现有视频缓解数据约束，但根本瓶颈在于每场景优化（per-scene optimization）的计算成本极高，处理单个视频片段需要长达一小时，这对大规模数据生成而言是计算上不可行的。此外，这些方法存在几何和光照的固有纠缠，难以实现细粒度的物理控制。最后，现有的 3D 表示（如 NeRF、3DGS）严重依赖静态场景假设来获得高质量重建，但在自动驾驶的复杂动态环境中（移动车辆和行人），这些优化字段往往无法捕获准确的底层 3D 几何，导致空间锚定和跨动态元素一致应用天气效果变得异常困难。

本文的目标是本文的目标是提出一个前馈式的 3D 感知天气编辑方法，将 3D 感知编辑的可控性和视觉质量带到动态自动驾驶场景中。通过用新颖的前馈编辑管道替代缓慢的每场景优化，该方法需要实现快速、高质量且物理合理的天气编辑和光照编辑。具体而言，该方法需要支持四种主要的自动驾驶天气和光照条件：雾、午夜、雨和雪，同时提供对环境光/阴影控制、额外光源添加和天气变化的细粒度参数化物理控制。该方法还必须适用于 4D 动态场景，无需调优，不依赖额外数据集进行权重微调，从而成为自动驾驶系统的实用数据引擎。

与已有工作不同的是，本文的独特切入角度在于完全解耦几何和光照的编辑流程。现有方法要么专注于天气转换，要么专注于基于物理的光照控制，但从未同时解决这两个关键问题。作者认为，真正的自动驾驶天气编辑必须同时处理几何层面的天气元素（如积雪积累、地面湿化）和光照层面的全局/局部光传输（如移动车辆前大灯在湿路面上的扫射效果、路灯在雾中创建的体积光晕）。此外，本文采用显式的 G-Buffer 表示替代隐式的神经表示，从根本上打破了静态场景假设，通过前馈神经网络直接预测密集的逐帧几何特征（如深度和法线），完全绕过每场景优化的静态场景瓶颈，为下游天气编辑提供了高度可控、可靠的结构基础。

核心方法

AutoWeather4D 将天气编辑形式化为高效的分析-合成管道。分析阶段以前馈方式将输入视频分解为显式的内在 G-Buffer，绕过了每场景优化的过高成本。合成阶段通过双通道编辑机制操纵解耦的场景几何和光照。最后，VidRefiner 对渲染序列进行终端细化，在保持解决物理动态的同时纳入传感器细节。整体方法遵循经典图形学的物理渲染流程：先提取几何和材料属性，然后应用物理模型修改这些属性，最后进行渲染和细化。这种设计与纯数据驱动的生成方法形成鲜明对比，后者直接从潜在空间生成结果，缺乏明确的物理解释和控制。

核心创新点是 G-Buffer 双通道编辑机制，系统性地将结构性场景修改与光照传输解耦。几何通道首先更新场景的内在状态（反照率、法线、粗糙度），为光照通道提供物理基础来分析性地求解辐射度。通过在显式 G-Buffer 上操作，这种机制确保所有合成的环境变化都锚定在底层 3D 结构上。几何通道实现表面锚定交互（如积雪积累、雨的动力学），光照通道实现解耦光照控制（如夜间局部重光照、体积大气散射、环境和谐化）。与现有方法不同，AutoWeather4D 不将光照烘焙到优化的 3D 表示中，而是将全局大气条件与局部动态光源完全解耦，使得能够无缝插入、切换和物理重照 3D 局部光源，确保静态和动态元素都对环境变化做出准确反应。

方法步骤详情

方法包含三个主要步骤。第一步是前馈 G-Buffer 提取，使用多源前馈提取方案将单目序列解析为统一的 G-Buffer。首先部署 Pi3（前馈 4D 重建骨干）实例化时空相干的相对深度，同时使用基于扩散的逆渲染器解耦内在材料属性（反照率、法线、金属度、粗糙度）。为了建立绝对物理尺度，通过将相对深度与稀疏 LiDAR 点云对齐来确定性解析全局标量乘数；对于缺乏 LiDAR 的严格单目配置，通过已知相机高度等标准几何先验恢复该缩放因子。第二步是 G-Buffer 双通道编辑。几何通道通过显式物理模型修改反照率、法线和粗糙度来结合天气元素的物理存在，包括混合表示的雪合成（元球表面积累、网格地面建模、运动学下落粒子）和物理基础的雨动力学（运动学条纹和静止水）。光照通道在更新的 G-Buffer 基础上计算最终场景照明，通过 3D 聚光灯建模人工光源并使用 Cook-Torrance BRDF 分析性评估表面辐射度，通过 Henyey-Greenstein 相位函数分析性求解体积散射，通过 HDR 环境图调节的神经前向渲染器完成延迟着色。第三步是 VidRefiner，通过低频先验（将渲染序列作为结构锚点初始化 VAE 编码的潜在空间）和高频空间约束（使用轻量骨干进行多通道条件输入）约束生成过程，防止随机幻觉改变解决的场景结构，仅在高频纹理细化上保持生成过程。

技术新颖性

技术新颖性体现在四个方面。首先是前馈 4D 重建替代逐场景优化，虽然输出较稀疏带来额外挑战，但消除了场景特定调优并大幅减少部署时间。其次是混合物理模拟与深度学习的表示方法，将经典的图形学物理先验（粒子系统、散射方程）与基于 G-Buffer 的神经渲染无缝集成到真实世界视频素材中，保持物理保证的同时实现灵活的视频编辑。第三是双通道解耦编辑框架，第一次同时解决天气转换和基于物理的光照控制两个问题，支持环境光/阴影控制、额外光源添加和天气变化的独立控制。第四是 VidRefiner 的双重约束机制，通过低频初始化和高频边界条件将生成空间塌陷到建立的物理流形，防止不约束的全局合成同时保持确定性场景结构。这些创新使得 AutoWeather4D 在没有辅助数据的情况下从现有镜头合成恶劣天气和光照条件，具有与生成基线相当的光逼真度和结构一致性，同时启用参数化物理控制。

Overview of our framework.
Fig. 2: Overview of our framework.

实验结果

在 Waymo Open Dataset 的 120 个场景上进行的全面实验验证了 AutoWeather4D 的有效性。在 CLIP Score 指标上，本文方法达到 0.2586，优于 WAN-FUN 2.2 的 0.2577、Cosmos-Transfer2.5 的 0.2558 和 Ditto 的 0.2532，证明在编辑指令遵循性上的竞争力。在结构一致性评估中，使用边界框交并比（IoU）协议比较投影的 2D 地面真值 LiDAR 盒子与从预训练单目 3D 检测器提取的结果，本文方法达到 0.915 的车辆检测 IoU，优于 Cosmos-Transfer2.5 的 0.913 和 WAN-FUN 2.2 的 0.888，表明在几何保持方面的优势。在身份稳定性评估中，通过编辑前后 patch 级 CLIP 特征相似性计算，本文方法达到 0.871，显著优于 Ditto 的 0.769 和 WAN-FUN 2.2 的 0.794，证明有效惩罚了生成幻觉同时适应了有效的物理材料改变。在用户研究中，12 个独立评分者对随机采样的 10 对比较进行双盲评估，本文方法在空间保真度和时间相干性两个标准上的综合胜率达到 0.826，远高于 Cosmos-Transfer2.5 的 0.580 和 WAN-FUN 2.2 的 0.668，证明人类评估者对视觉质量的偏好。在下游感知数据增强应用中，使用合成的 6,480 帧数据微调 HRDA 分割模型 20k 迭代后，本文方法在 ACDC 数据集上实现 49.81% 的 mIoU（提升 +1.24%）和 62.52% 的 mAcc（提升 +2.96%），在 Dark Zurich 数据集上实现 24.09% 的 mIoU（提升 +0.71%）和 39.73% 的 mAcc（提升 +3.76%），而 Cosmos-Transfer2.5 在 Dark Zurich 上仅提升 +0.04% 的 mIoU，证明显式锚定合成可靠地保留了下游训练所需的底层场景几何。运行时间方面，语义标注耗时 128.1 秒（所有天气共享），夜间处理 167.1 秒，雾处理 170.9 秒，雨处理 2.2 秒，雪处理 67.6 秒，在 NVIDIA V100 GPU 上实现可接受的推理速度。

Comparison of state-of-the-art weather and time-of-day synthesis models for autonomous driving.
Table 1: Comparison of state-of-the-art weather and time-of-day synthesis models for autonomous driving.
Running time (seconds) per video for different tasks and weather conditions on a NVIDIA V100 GPU.
Table 2: Running time (seconds) per video for different tasks and weather conditions on a NVIDIA V100 GPU.
Quantitative evaluation of weather and time-of-day conversions on the Waymo dataset.
Table 3: Quantitative evaluation of weather and time-of-day conversions on the Waymo dataset.
AutoWeather4D for data augmentation in adverse weather semantic segmentation.
Table 4: AutoWeather4D for data augmentation in adverse weather semantic segmentation.
Qualitative Comparisons of AutoWeather4D on Waymo Weather/Time-of-day Conversions: Validating Physically Plausible and Fine-Grained Control for Autonomous Driving.
Fig. 3: Qualitative Comparisons of AutoWeather4D on Waymo Weather/Time-of-day Conversions: Validating Physically Plausible and Fine-Grained Control for Autonomous Driving.
Qualitative Comparisons with domain-specific architectures: Validating spatially anchoring weather effects.
Fig. 4: Qualitative Comparisons with domain-specific architectures: Validating spatially anchoring weather effects.
Ablation of 4D reconstruction.
Fig. 5: Ablation of 4D reconstruction.
Global Illumination Editing driven by HDR environment map.
Fig. 6: Global Illumination Editing driven by HDR environment map.
Explicit Parameterized Control for Physically Consistent Weather and Time-of-Day Video Editing.
Fig. 7: Explicit Parameterized Control for Physically Consistent Weather and Time-of-Day Video Editing.
查看结构化数据
任务指标本文基线提升
天气和时间转换（CLIP Score） CLIP Score 0.2586 WAN-FUN 2.2: 0.2577, Cosmos-Transfer2.5: 0.2558 +0.0009 vs WAN-FUN 2.2, +0.0028 vs Cosmos-Transfer2.5
结构一致性（车辆检测 IoU） Vehicle Detection IoU 0.915 Cosmos-Transfer2.5: 0.913, WAN-FUN 2.2: 0.888 +0.002 vs Cosmos-Transfer2.5, +0.027 vs WAN-FUN 2.2
身份稳定性（CLIP 相似度） Vehicle CLIP cosine similarity 0.871 Ditto: 0.769, WAN-FUN 2.2: 0.794 +0.102 vs Ditto, +0.077 vs WAN-FUN 2.2
人类评估（综合胜率） Human Evaluation (Win Rate) 0.826 Cosmos-Transfer2.5: 0.580, WAN-FUN 2.2: 0.668 +0.246 vs Cosmos-Transfer2.5, +0.158 vs WAN-FUN 2.2
数据增强（ACDC mIoU） ACDC mIoU 49.81% (+1.24%) Cosmos-Transfer2.5: 49.66% (+0.93%), w/o augmentation: 49.20% +0.15% vs Cosmos-Transfer2.5, +0.61% vs baseline

局限与改进

作者承认几个局限性。首先是难以捕捉极端长尾动态交互（如车辆溅水的复杂流体动力学），这对解耦管道而言具有挑战性。未来工作可以探索专门针对这些非结构化现象的集成局部生成先验，补充确定性的结构锚点。其次是在严重环境扰动（如重雾遮挡）与远处背景元素的结构保留之间需要仔细平衡，尽管边界条件有效地锚定了前景几何，但未来迭代可以整合语义感知衰减掩码来动态调制扩散强度在关键的自动驾驶感兴趣区域。作者还指出该方法依赖于准确的深度估计和语义分割，当输入视频存在深度估计错误或语义标注不准确时，可能会导致光照和几何编辑的伪影。此外，VidRefiner 虽然有效约束生成空间，但在极端天气条件下可能无法完全消除所有高频纹理的不一致性，特别是在快速运动的动态物体上。最后，虽然前馈方法大幅提升效率，但与纯生成方法相比，其性能仍受限于深度估计和材料分解的精度，在某些复杂场景下可能需要手动调优参数以获得最佳视觉效果。

独立分析的弱点

独立分析的弱点包括四个方面。一是对深度估计的敏感性，前馈 4D 重建虽然避免了逐场景优化，但其输出的深度精度直接影响光照计算和几何编辑的质量，特别是在远距离区域和纹理缺乏的区域，深度估计的误差会导致光照衰减和阴影投射的不准确。改进方向是集成多模态深度估计（如结合单目、双目、稀疏 LiDAR）以提升深度精度和鲁棒性。二是语义分割的依赖性，光源估计和天空掩码都依赖于准确的语义分割，当输入视频的语义标注存在错误时，可能导致光源位置估计错误或天空区域的材料提取伪影。改进方向是使用更鲁棒的多帧语义融合或自监督语义学习方法。三是动态物体的处理，虽然显式 G-Buffer 表示能够处理动态物体，但在快速运动和大位移情况下，4D 重建的时空相干性可能下降，导致材料属性在帧间不一致。改进方向是引入显式的运动补偿机制或时序一致性损失。四是极端天气的泛化，方法在雾、雨、雪等常见天气上表现良好，但对于冰雹、沙尘暴、暴风雪等极端长尾天气的支持有限，主要是因为这些天气的物理模型更加复杂且数据稀缺。改进方向是收集更多极端天气数据并设计专门的物理模型。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的多个方向。作者提出的方向包括：探索集成局部生成先验专门用于极端长尾动态交互（如复杂流体动力学），补充确定性的结构锚点；整合语义感知衰减掩码来动态调制扩散强度在关键的自动驾驶感兴趣区域，平衡严重环境扰动与远处背景元素的结构保留。基于成果可延伸的方向包括：扩展到更多天气和光照条件，如冰雹、沙尘暴、暴风雪等极端天气，以及黎明、黄昏、蓝色小时等更多时间；集成到完整的自动驾驶仿真管道中，与交通流模拟、行人行为模拟等结合，生成更全面的测试场景；探索与其他数据增强技术的结合，如域随机化、风格迁移等，进一步提升下游感知模型的鲁棒性；将方法应用到其他领域，如视频游戏、电影特效、虚拟现实等，在这些领域对可控天气和时间编辑有强烈需求；优化实时性能，当前方法虽然避免了逐场景优化，但离实时处理仍有差距，可以通过模型蒸馏、量化、并行计算等技术提升推理速度；研究端到端训练策略，当前方法的多阶段管道可能存在次优性，端到端训练可能进一步优化整体性能；开发交互式编辑工具，提供用户友好的界面让非专业用户能够直观地调整天气参数和光照设置。

复现评估

复现评估方面，作者提供了详细的方法描述和实验设置，但未明确说明代码和数据是否开源。实验使用 PyTorch 在 NVIDIA GPU 上进行（本文方法使用 V100，资源密集型基线如 Cosmos-Transfer2.5 和 Ditto 使用 A100），评估数据集是 Waymo Open Dataset 的 120 个场景（使用 NOTR 子集）。每个源视频转换为四种常见恶劣条件（雨、雪、雾、夜），每视频 57 帧，总共评估 27,360 帧。运行时间报告详细，不同任务和天气条件的时间在 2.2 秒到 170.9 秒之间。评估协议标准化，对需要文本输入的基线使用原始场景描述与目标天气条件的直接拼接，避免手动提示工程。评估指标包括 CLIP Score、Vehicle Detection IoU、Vehicle CLIP cosine similarity 和用户研究。用户研究采用双项强制选择（2AFC）设计，12 个独立评分者，每个基线 10 对比较，总共 1,440 个独立响应，严格双重盲随机化演示顺序和左右布局。虽然提供了详细的实验设置和评估协议，但由于未明确开源代码和模型，完整复现可能需要重新实现复杂的 G-Buffer 提取、双通道编辑和 VidRefiner 组件，这对研究者的实现能力提出了较高要求。此外，方法依赖多个预训练模型（如 Pi3、扩散逆渲染器、单目 3D 检测器），这些模型的可用性和版本一致性也会影响复现难度。总体而言，复现难度为中等偏上，需要较强的计算机视觉和图形学背景，以及充足的计算资源（NVIDIA V100 或 A100 GPU）。

论文图表

AutoWeather4D: Weather & Time-of-Day Control for Driving Videos.
Fig. 1: AutoWeather4D: Weather & Time-of-Day Control for Driving Videos.

该图展示了 AutoWeather4D 对驾驶视频的细粒度天气和时间控制能力。输入是原始驾驶视频，输出展示了三种控制类型：Output1 展示阴影控制，Output2 展示光照控制，Output3 展示几何控制。图中包含四种天气/时间示例：黎明、中午、雾、夜晚，以及三种天气类型：雪、雨、雾。红色放大框展示了逼真的雪积累效果，蓝色放大框突出显示了雨引起的地面湿化和涟漪效果。该图直观地证明了方法能够同时控制环境光/阴影、额外光源和几何变化。

这张图对理解论文至关重要，因为它直观地展示了 AutoWeather4D 的核心能力：细粒度的多维度控制（阴影、光照、几何）和多种天气/时间条件（黎明、中午、雾、夜晚、雪、雨）。特别是放大框中的细节（雪积累、地面湿化和涟漪）直接证明了物理模型的逼真性，这是评估方法质量的关键依据。该图位于引言部分，作为方法的总体能力概览。