DyRAD：面向动态驾驶场景的雷达新视角合成 DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes
首个为动态场景渲染完整RAD张量的雷达新视角合成方法，用固定PSF解耦场景与传感器。
前置知识
RAD 张量（距离-方位-多普勒立方体）
FMCW 车载雷达对单次观测经距离 FFT、多普勒 FFT 与方位波束形成后得到的三维数据立方体 $Y \in \mathbb{R}^{D\times R\times A}$，三个维度分别记录回波强度随径向速度、距离和方位角的分布。它是本文重建与渲染的目标表示；RA 图和 RD 图则是沿多普勒轴或方位轴平均得到的二维投影。
论文的输入、输出与全部评价指标都定义在 RAD 张量上，不理解这个数据形态就无法理解渲染器、损失函数以及检测评测（RD-CFAR）到底在拟合和检验什么。
多普勒效应与径向速度
雷达与散射体之间的相对运动使回波产生频移，频移正比于相对速度在视线方向上的投影 $\nu_i = \hat{r}_i^\top (v_i - v_s)$。雷达直接测量该径向速度并离散到有限的多普勒 bin；超出无模糊区间的速度会周期性回卷，因此不同径向速度可能落在同一 bin。
本文的核心贡献之一是让多普勒同时充当渲染输出和监督信号来约束物体运动轨迹，并且渲染时要复现周期回卷行为；不理解多普勒的物理含义就读不懂方法动机。
点扩散函数（PSF）
雷达信号处理链（加窗 FFT、波束形成等）会把一个理想点散射体的能量沿距离、方位、多普勒三个轴扩散到多个 bin，形成传感器固有的响应核 $h_R, h_A, h_D$。它只取决于传感器及其处理配置，与场景内容完全无关。
本文方法的关键是把渲染写成「零体积点反射器 × 固定解析 PSF」，把传感器造成的测量弥散从场景表示中剥离；不理解 PSF 就无法理解这一解耦为什么能提升偏移视角的渲染正确性。
新视角合成与神经场景表示
从已记录的观测中重建场景的三维/时空表示，再渲染出未观测视角下「本应看到」的测量。NeRF 用神经场表示辐射场，3D Gaussian Splatting 用带透明度的高斯基元实现快速可微光栅化；相机与激光雷达的动态驾驶场景重建（Street Gaussians、EmerNeRF 等）已较为成熟。
DyRAD 是把这一范式移植到雷达上的工作：其表示设计（点反射器替代高斯）、刚性物体轨迹、以及 on-path/off-path 评测协议的批判，都是与这条研究脉络的直接对话。
CFAR 检测
恒虚警率（Constant False Alarm Rate）检测是雷达的标准检测流程：在每个候选 bin 上用邻域估计噪声水平，超过自适应阈值即输出一个检测点。对合成 RAD 张量施加与真实数据完全相同的 RD-CFAR，再比较两侧点云的位置、多普勒与功率，可以检验仿真数据能否产出可用的雷达观测。
论文中 CD、F1、命中率等检测类指标全部建立在「对参考与渲染张量跑同一 CFAR 再比对点云」之上，这是衡量雷达仿真实用性的关键一环。
研究动机
现有雷达新视角合成方法存在三个具体缺口。第一，动态与多普勒脱节：处理动态驾驶场景的方法（如 RF4D）只重建距离-方位（RA）张量、完全丢弃多普勒；而能渲染多普勒的方法（DART、RadarSim、RadarSplat-RIO 等）全部假设场景静态，多普勒仅来自传感器自身运动。没有任何方法能从完整 RAD 测量重建动态场景，并把渲染出的多普勒反过来约束物体运动。第二，场景与传感器纠缠：雷达信号处理链会把每个反射体的回波沿三个轴扩散到多个 bin（PSF 效应），而现有方法（RadarSplat 的高斯基元、RadarFields 的神经场）的空间范围直接从测量中学出——一片宽回波既可能被解释成大的场景元素，也可能被解释成传感器模糊，这种歧义使弥散被当作静态几何烘焙进场景，视角一旦离开训练轨迹就会渲染出错。第三，评价只沿轨迹：既有工作只在行驶轨迹上的留出帧评估，测试帧夹在几乎相同的训练位姿之间，纯测量空间插值就能得高分，无法检验闭环仿真真正需要的偏移视角合成能力。
本文的目标是本文的目标是构建 DyRAD 系统，从记录的雷达测量、传感器位姿和物体框标注中重建动态驾驶场景，使其支持四件事：(1) 在任意新位姿与新时刻合成完整的距离-方位-多普勒（RAD）张量而非仅 RA 投影，让雷达独有的多普勒能力在仿真中得以保留，并反过来用多普勒监督物体运动；(2) 恢复真实场景结构而非传感器自身响应，使偏移轨迹的渲染成为物理前向模型而非测量插值；(3) 同一重建场景可在不同雷达处理配置（分辨率、采样网格）下零样本重渲染、无需重新拟合；(4) 建立能真正检验空间泛化的评测协议——合成数据上直接对比偏移视角真值，真实数据上做往返一致性检验。定量目标非常明确：在 RADIal 上把前景检测命中率从最强基线的 26.9% 拉到 90% 以上，同时把物体区域 RAD 相关性从约 0 拉到 0.6 以上。
与已有工作不同的是，本文的独特切入角度是把雷达测量显式分解为「场景 × 传感器响应」的物理建模视角。与用神经场或可学习高斯直接拟合测量的既有路线不同，作者注意到雷达回波本质上来自离散散射中心，因此用零体积点反射器表示场景，把传感器造成的所有弥散交给一个从信号处理链推导、训练全程冻结的解析 PSF——弥散只能由 PSF 解释，场景只需解释回波的位置与功率，从表示层面消除了「大场景元素 vs 传感器模糊」的歧义。第二个独特角度是多普勒闭环：物体轨迹导出反射器速度→投影到视线方向渲染多普勒→渲染的多普勒再作为监督反向优化轨迹，这在雷达 NVS 中是首次。第三个角度是评价方法论：作者首次指出 on-path 协议测的是插值而非泛化，并提出雷达 NVS 的 off-path 评测（合成偏移真值 + 真实数据 2 米横移往返一致性），甚至展示了 PSNR/SSIM 在稀疏雷达上的失效——常数预测的 SSIM 高于所有重建方法。
核心方法
直觉上，DyRAD 把「合成雷达测量」还原成它物理上本来的样子：一片 RAD 张量是若干离散散射中心各自的回波经信号处理链涂抹后的非相干叠加。方法因此分三层。表示层：场景由 $N$ 个零体积点反射器组成，分为静态背景和 $M$ 个刚体运动物体；每个反射器有可学习的世界坐标 $x_i(t)$、基础反射功率 $\alpha_i=\sigma(o_i)$ 和三阶球谐系数 $\eta_i$（视图相关反射率），动态反射器随所属物体的刚性轨迹运动（保留物体坐标系中的相对位置 $\mu_i$）。渲染层：可微分渲染器把每个反射器投影到传感器坐标得到距离 $r_i$、方位 $\phi_i$ 和径向速度 $\nu_i$，经固定的传感器 PSF 核展开成响应，非相干求和成 RAD 张量。优化层：从测量峰值与物体框初始化后，联合优化反射器参数与轨迹点，损失为重建 MSE 加帧间插值一致性正则，并周期性做残差引导的背景致密化。整个管线用 CUDA 实现，在单张 RTX 4090 上 10k 步训练中位数仅 7.2 分钟。
核心创新有两个，且都与已有方法有本质区别。其一，「点反射器 + 固定解析 PSF」的解耦式表示：RadarSplat/RadarFields 让基元的空间范围从测量中学出来，传感器弥散与场景结构纠缠；RF4D 虽做动态场景但只输出 RA。DyRAD 强制场景基元零体积，所有展宽必须经过一个由雷达处理链（Hamming 加窗 FFT、标定波束形成）推导且优化中冻结的 PSF——这既是强正则（模型无法用可学习展宽弥补反射器定位误差），也是能力开关：更换传感器配置时只需换 PSF 和采样网格，场景参数原封不动即可重渲染。其二，多普勒的双重角色：物体轨迹 4 个邻近点的最小二乘斜率给出平移速度，加上朝向变化诱导的速度，投影到视线方向 $\nu_i(t)=s_D\,\hat{r}_i^\top(v_i(t)-v_s(t))$ 并按无模糊区间回卷后渲染成多普勒轴；多普勒既是输出又反向约束轨迹。据作者所知，这是首个为动态驾驶场景渲染完整 RAD（含多普勒）的雷达新视角合成方法。
方法步骤详情
第一步，输入与设定：给定 RAD 张量序列、平面位姿（位置+航向）和部分帧的物体框标注；无多普勒的传感器退化为 RA 重建。第二步，初始化：恒速模型跨帧关联物体框得到轨迹；背景反射器取自多普勒平均 RA 图峰值，动态反射器取自每个框内最强多普勒 bin 的峰值，投影到地面并跨帧累加，动态峰值按轨迹平移对齐到物体参考系，分别在 0.5 m（静态）与 0.15 m（动态）体素上去重。第三步，构建固定 PSF：RADIal 用参考处理的解析 Hamming-FFT 核与标定波束形成响应（含天线窗、+1° 仰角切片、DDMA 移位补偿）；Boreas 处理链未知，用带宽固定的锥形 sinc² 核近似；所有核优化前算好并全程冻结。第四步，可微渲染：投影→球谐反射率→径向速度回卷→三核相乘 $\psi_i=\rho_i h_R h_A h_D$→非相干求和→加固定底噪并转到记录域。第五步，联合优化：$\mathcal{L}=\mathcal{L}_{rec}+\lambda_{int}\mathcal{L}_{int}$，前者为预测与记录 RAD 的 MSE，后者令帧间采样时刻的预测 RA 与邻近帧平均对齐（仅作用 RA）；第 1000 步起每 200 步残差引导致密化，上限 80 万反射器。推理时在任意查询时刻与位姿直接前向渲染。
技术新颖性
技术新颖性体现在四个层面。表示上：用零体积点反射器替代高斯/神经场，把「场景有多宽」从优化问题中移除，这是对雷达 NVS 表示设计的根本性改变——消融显示固定 PSF 使检测召回率相对可学习展宽提高一倍以上（0.149 vs 0.067）。物理上：PSF 直接从信号处理链推导而非学习，RADIal 的 Hamming-FFT 距离/多普勒核、DDMA 发射机码分移位补偿（按 16-bin 移位收集 256-bin 频谱并保留 16 个缩减多普勒偏移）、标定波束形成的方位核全部进入解析模型，这种保真度让零样本传感器配置迁移成为可能。动态建模上：延续 Street Gaussians 等的刚性轨迹表示，但首次把多普勒周期回卷纳入可微渲染并作为轨迹的监督信号。评测上：首次为雷达 NVS 建立 off-path 协议，并用结构无关对照实验（CONST 预测的 SSIM 高于所有方法）证明 PSNR/SSIM 在约 97% bin 处于噪底的稀疏雷达数据上会误导评测，从而引入尺度不变的 Pearson 相关作为主指标——这一评测洞察本身就是对社区的方法论贡献。
实验结果
实验覆盖三个数据集与三种协议。On-path（每 5 帧留 1 帧）：RADIal 上 DyRAD 全测量 RAD 相关达 0.272（最强基线 RadarSplat* 仅 0.068），物体区域 RAD 相关从静态变体的 −0.013 跃升至 0.658，前景命中率 90.7%（RadarFields* 26.9%，静态变体 7.0%）；Boreas（无多普勒）上物体区域相关 0.622 vs RadarSplat 0.178，说明收益不依赖多普勒监督。真实数据 off-path（2 m 横移往返）：DyRAD 命中率 91.7% vs 最强基线 18.1%；Boreas 上 RadarSplat 的 PSNR 几乎持平（24.29 vs 24.51 dB）但物体区域相关仅 0.211 vs 0.641。合成 off-path（5 场景 × 5 种偏移共 25 组）：物体区域 RAD 相关 0.356 vs RadarFields 0.086，F1 0.227 vs RadarSplat 0.106，命中率 74.6% vs 36.0%，代价是空框误检 4.9 个 vs 静态变体 0.7 个。消融：多普勒监督使 F1 0.144→0.179（off-path 0.120→0.236），物体多普勒峰值误差 1.843→0.732 bin（约降 60%）；固定 PSF 使召回翻倍以上（0.149 vs 0.067）。配置迁移：粗分辨率模型直接换细 PSF 渲染，CD 从 7.27 m 降到 3.20 m，F1 从 0.101 升到 0.195，物体区域 RAD PSNR 12.87→15.32 dB。效率：RTX 4090 上训练中位数 7.2 分钟，渲染完整 RAD 5.65 ms，显存 1055 MiB。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RADIal RAD 重建（on-path，全测量） | Pearson 相关 ρ | 0.272 | RadarSplat* 0.068 / RadarFields* 0.015 | 约 4 倍 |
| RADIal RAD 物体区域重建（on-path） | 物体区域 ρ_obj | 0.658 | DyRAD-static −0.013；两个基线均≈0 | 从无信号到强相关 |
| RADIal 前景检测（on-path） | 命中率 Hit rate | 90.7% | RadarFields* 26.9% | +63.8 个百分点 |
| RADIal 检测（on-path） | 联合 F1（位置+多普勒+功率）/ CD | 0.179 / 4.01 m | DyRAD-static 0.123 / 4.71 m；RadarSplat* 0.073 / 6.53 m | F1 相对静态变体 +45% |
| Boreas RA 重建（on-path） | 物体区域 ρ_obj / 全局 ρ | 0.622 / 0.752 | RadarSplat 0.178 / 0.666 | 物体区域约 3.5 倍 |
| RADIal 检测（2 m 横移往返 off-path） | 命中率 | 91.7% | RadarFields* 18.1%；DyRAD-static 20.9% | +73.6 个百分点 |
| 合成数据偏移视角重建（25 组场景-偏移对） | 物体区域 RAD ρ_obj | 0.356 | DyRAD-static 0.161 / RadarFields 0.086 | 约 4.1 倍（vs 最强基线） |
| 合成数据偏移视角检测 | F1 / 命中率 | 0.227 / 74.6% | RadarSplat* 0.106 / 36.0% | F1 与命中率均约翻倍 |
| 粗到细传感器配置迁移（RADIal） | 检测 F1 / CD / 物体 RAD PSNR | 0.195 / 3.20 m / 15.32 dB（直接渲染） | 线性上采样 0.101 / 7.27 m / 12.87 dB | F1 +93%，CD 减半 |
| 效率（RTX 4090，RADIal） | 训练时长 / 渲染延迟 / 峰值显存 | 7.2 min / 5.65 ms（完整 RAD）/ 1055 MiB | RadarSplat 4.3 min / 4.68 ms（RA）/ 2138 MiB；RadarFields 15.10 ms / 4669 MiB | 显存约为基线 1/2–1/4 且输出更高维的完整 RAD |
局限与改进
作者承认的局限：反射器到物体的归属依赖物体框标注且优化中保持固定，初始化错误无法纠正（只有轨迹点和反射器位置会被细化）；未建模多径与散斑噪声；因数据不含仰角，实现限于地面平面（形式上支持 3D 但未验证）；配置迁移只在同一原始 ADC 的不同处理配置间演示，未跨物理传感器。我的补充观察：其一，物体框标注既用于初始化轨迹和动态/静态切分，物体区域指标又直接以这些框为掩码，存在一定的自证风险；其二，真实数据 off-path 的往返协议测的是「信息经偏移渲染后是否可恢复」，与直接的空间泛化精度仍有差距，且合成基准只有 5 个场景、传感器为理想化模型（未复现 DDMA 伪影）；其三，合成 off-path 中 DyRAD 空框误检平均 4.9 个，显著高于静态变体的 0.7 个，偏移视角下动态反射器可能产生虚假回波；其四，检测 F1 绝对值仍低（0.18–0.24），距实用尚远；其五，处理链未知的传感器上固定 PSF 只能靠手工调参近似（Boreas 的距离核带宽靠验证集挑选），向新传感器泛化仍有摩擦。
独立分析的弱点
第一，标注依赖：物体框标注不仅用于初始化轨迹，还用于动态/静态区域切分与物体区域评测；在无标注的部署环境中需引入额外检测/跟踪管线，其误差会传导进重建。改进方向：用雷达-相机联合数据自监督提取物体框，或把反射器-物体归属做成可微软分配与轨迹联合学习。第二，归属固定与对齐粗糙：初始化错误的反射器永远跟随错误物体，转弯物体的对齐也只补偿平移。改进方向：优化中周期性重评分配属，或引入旋转对齐初始化。第三，非相干叠加丢弃相位：真实回波相干叠加会产生干涉（多径、镜面闪烁），本文完全不解相位，因此无法渲染多径幽灵目标，功率分布 MMD 也仍偏高。改进方向：复数域渲染 + 相干求和，或像 RadarSplat 那样加入显式多径项。第四，空框误检（合成 off-path 平均 4.9 个/框）会在闭环仿真中制造虚假目标，影响安全性评估可信度。改进方向：渲染中加入可见性/遮挡推理，或引入自由空间衰减先验。第五，绝对检测质量低（F1≈0.18–0.24）说明渲染的功率/噪声统计与真实数据仍有系统性差距。改进方向：显式杂波与噪声模型，或对渲染张量做数据驱动的统计校准。
未来方向
作者提出的方向：联合细化反射器-物体归属以纠正初始化误差；建模多径与散斑以提升测量真实性；在具备仰角分辨率的雷达上验证 3D 重建；探索跨物理传感器（而非仅处理配置）的迁移。基于本文成果可自然延伸的方向：(1) 把 DyRAD 作为雷达仿真器接入闭环评测流水线，量化渲染数据训练的感知模型的 sim-to-real 差距，尤其是多普勒保真度对跟踪与运动预测的价值——这是渲染 Doppler 独有的研究抓手；(2) 去标注化：结合视觉基础模型自动生成物体框与轨迹，走向纯传感器输入的自监督雷达重建；(3) 场景编辑的系统化：Fig. 1 已演示物体重定位，可扩展为对抗场景自动生成（插入/删除/移动车辆）用于安全关键测试；(4) 与 4D 成像雷达结合恢复仰角并检验 PSF 迁移的物理边界；(5) 把「固定传感器响应」的思想反哺相机/激光雷达渲染（如显式建模镜头 MTF 或激光雷达光斑）；(6) 扩大 off-path 合成基准规模——目前仅 5 个场景、5 种偏移，社区需要更大规模、含真实噪声模型的基准来推动偏移视角合成研究。
复现评估
复现条件良好。代码已开源（GitHub: Dyrad-NVS/DyRad），附合成基准的确定性生成器（含 off-path 真值），作者承诺公开合成场景与偏移真值。RADIal 与 Boreas 均为公开数据集。附录文档完备：PSF 构建（A.1，含 DDMA 移位补偿、+1° 仰角切片与 Boreas 核参数 $w_R{=}5.7,k_R{=}16$、$w_A{=}2.26,k_A{=}4$）、初始化流程（B.1 与 Fig. 5）、致密化（B.3）、超参搜索范围与选定值（B.2）、完整指标定义与结构无关对照（C.1）、全部消融表（Tables 12–15）与配置迁移协议（E）。算力门槛低：单张 RTX 4090，单序列 10k 步训练中位数 7.2 分钟、峰值显存 1055 MiB。复现难点有三：(1) RADIal 的 PSF 依赖其标定表和参考处理链的精确复刻，工程细节多；(2) 初始化含多个启发式阈值（0.5 m/0.15 m 体素、残差阈值 0.05 等）；(3) 超参为条件性选择而非联合最优，换数据集可能需重调。总体难度中等偏易。
论文图表
Teaser 图：左侧展示从同一重建场景渲染出的原始视角真值、物体重定位编辑、横向偏移 2 米后的视角以及更高分辨率传感器配置下的 RAD 测量；右侧柱状图显示在 RADIal 上 DyRAD 的 RAD PSNR 与检测命中率均超过两个基线。
一张图概括了论文的四大能力（新视角、动态物体、传感器迁移、场景编辑）与主要量化优势，是快速把握论文贡献全貌的入口。
列出 5 个优化超参（插值权重、位置/功率/球谐/轨迹学习率）在 RADIal 与 Boreas 上的搜索范围与最终取值，如 RADIal 的 $\lambda_{int}{=}0.1$、位置学习率 0.0002。
复现训练的关键配置参考，也交代了超参是条件性网格搜索所得、非联合最优的诚实说明。
往返 off-path 重建完整指标：DyRAD 在 RADIal RAD（ρ 0.363、物体 0.536）与 Boreas（物体 0.641）领先；RA 物体区域相关 0.807、RD 物体区域 0.584。
与 Table 5 对照可看出 off-path 条件下各方法整体的衰减幅度，以及静态变体在物体区域的崩塌（0.056）。
合成数据偏移视角重建：DyRAD 物体区域 RAD ρ 0.356（静态变体 0.161、RadarFields 0.086），RA 物体区域 ρ 0.593、物体 PSNR 17.39 dB；全测量指标差距较小。
唯一有偏移视角真值的直接评测，能区分「空间泛化」与「往返可恢复性」，是支撑 off-path 主张的核心定量表。
on-path 检测与多普勒消融：多普勒监督使 F1 0.144→0.179、物体多普勒峰值误差 1.843→0.732 bin 但命中率几乎不变（0.909→0.907）；固定 PSF 使召回 0.149 vs 可学习展宽 0.067/带宽 0.058。
给出了论文最常被引用的两个消融数字（多普勒误差降 60%、固定 PSF 召回翻倍），并说明多普勒监督精修的是速度结构而非覆盖。
off-path 重建消融：去掉插值一致性损失反而使 RAD ρ 0.447→0.363 变差方向上 F1 0.296→0.236 之外的多数重建指标更好（如 RAD ρ 0.363 vs 0.447），呈现 on/off-path 的权衡；可学习展宽在 off-path 的 F1 仅 0.074。
展示正则项在两种协议下的不同作用，是理解方法在训练目标上做了何种取舍（保 on-path 插值质量 vs 保 off-path 保真度）的关键。