RAD-2：在生成器-判别器框架下规模化强化学习 RAD-2: Scaling Reinforcement Learning in a Generator-Discriminator Framework

完整方法分四步执行：（1）场景编码——观察 $o_t$ 经感知 backbone 编码为 BEV 特征 $T_b$，静态地图 $X_{map}$、动态智能体 $X_{agent}$、导航 $X_{nav}$ 分别经轻量编码器 $E_m, E_a, E_n$ 得到 $T_m, T_a, T_n$，再经融合模块 $F(\cdot)$ 得到统一场景嵌入 $E_{scene}$；（2）扩散采样——$M$ 个独立模式从 $\tau^{(0,m)}\sim\mathcal{N}(0,I)$ 出发，迭代 $k=1,\dots,K$ 步用 DiT 去噪 $G(\tau^{(k-1,m)}, E_{scene}, k)$ 得到候选集 $bT = \{\hat\tau^{(K,m)}\}_{m=1}^M$；（3）判别器打分——每条轨迹经共享 MLP 嵌入为 $\{e_i\}_{i=1}^H$，前置 [CLS] token 后送入 Transformer 编码器得到查询 $Q_\tau$；$Q_\tau$ 与判别器独立参数的 $T^*_m, T^*_a$ 做交叉注意力 $\Psi$ 得到 $O_m, O_b, O_a, O_{a\cap m}$，concat+MLP 后用 sigmoid $\sigma(E_{fusion})\in[0,1]$ 给出分数；（4）闭环训练——在 BEV-Warp 中以 warp 矩阵 $M_{t+1} = (P_{t+1})^{-1}P^{ref}_{t+1}\in\mathbb{R}^{3\times 3}$ 经双线性插值 合成下一帧特征 $B_{t+1} = W(B^{ref}_{t+1}, M_{t+1})$，iLQR 控制器跟踪选中的 $\hat\tau^*_t$ 更新位姿，并按 (3.3.1) 的 trajectory reuse 机制锁定执行 $H_{reuse}=8$ 步，再以组大小 $G=4$ 算组相对 advantage $A_i = (r_i - \mu)/\sigma$、用裁剪目标 $L_{i,t}=\min(\rho_{i,t}A_i, \text{clip}(\rho_{i,t},1\pm\varepsilon)A_i)$和熵正则项 $\beta H$ 按式 (18) 更新 $D_\phi$；每 8 个 batch 触发一次 OGO，用 MSE loss $\mathcal{L}_{op}(\theta)=\mathbb{E}_{\tau^{opt}\sim D_{opt}}\sum_{k=0}^H\|\hat\tau_{t+k} - \tau^{opt}_{t+k}\|_2^2$ 训练 $G_\theta$。

技术新颖性体现在四个层面且相互耦合：（a）架构层面——首次把扩散生成器与判别器重排序解耦到端到端规划任务，借鉴 LLM「sample-then-rerank」框架支持推理时按算力增加样本 $M$ 提升性能，Tab. 10 显示 $M=32$ 时 $EP@1.0=0.736$，$M=128$ 时 $EP@1.0$ 进一步升到 0.814；（b）信用分配层面——提出 TC-GRPO，引入 latch 执行（$H_{reuse}=8$）保证组内 rollout 在持续行为上下文下评估，使稀疏奖励可归因到具体被锁定的轨迹假设，Tab. 5 消融证明太小 （$H_{reuse}=2$）会导致模式频繁切换使梯度噪声大，$H_{reuse}=16$ 反而牺牲反应性；（c）优化对象层面——提出 OGO，将 $G_\theta$ 的反向传播限制在纵向（$v_t$ 与 $a_t$）维度上做固定比例 $\rho\in(0,1)$ 缩放后重新积分作为监督目标，避免直接 policy gradient 爆炸；（d）仿真层面——提出 BEV-Warp，首次用 BEV 特征空间 warp 而非图像/3DGS 重建实现高吞吐闭环，并通过 Fig. 5 经验验证 warp 后感知输出仍保持空间对齐（$\theta=1.08^\circ, T_x=10.658m, T_y=2.387m$ 下未观察到错位）。这四者共同构成了一个可扩展、可工程化的 RL-for-planning 闭环系统。

独立分析可识别三个具体弱点并给出改进方向：(1) BEV-Warp 依赖 warp 后感知「不变」这一假设，但 Fig. 5 的验证只测了 $\theta=1.08^\circ, T_x=10.658m, T_y=2.387m$ 一次位姿漂移，没有长时序累计漂移分析——若每步 warp 都引入微小误差，500 步闭环后感知输出可能严重错位。改进方向：周期性地用真实观测 $o_t$ 做校正，或在 warp 后加可学习的轻量 correction head。(2) TC-GRPO 的 $H_{reuse}=8$ 是固定超参，对高速巡航和低速拥堵都一刀切，低速时 8 步可能已驶出路口、latch 失去意义，高速时 8 步可能不足。改进方向：把 $H_{reuse}$ 设计为速度感知的函数 $H_{reuse} = f(v, \rho_{route})$，或在长时序段中只对关键决策点（TTC 突变、车道变更触发）做 latch。(3) OGO 的纵向 offset 用固定比例 $\rho\in(0,1)$ 或 $\rho'>1$ 缩放，这在 $H=80$ 步的规划 horizon 中可能产生非物理的速度尖峰。改进方向：把常数缩放改为基于物理可行域（如 $a_{max}, j_{max}$）的优化，或用 iLQR 重新求一次最优纵向 profile 再做监督。

作者在第 5 节明确提出两个未来方向：(a) 将优化管线迁移到生成式世界模型（Generative World Model, WM）上，以获得更高真实感和场景多样性，但需解决 WM 当前的高推理开销与长时序漂移问题；(b) 推断时 scaling 方面，作者展示了 $M=32\to128$ 时 $EP@1.0$ 由 0.736 升到 0.814，但 CR 在 $M=64$ 时反弹到 0.252，说明 scaling 规律非单调，未来值得结合 verifier 或 rejection sampling 进一步提升。基于本文成果可延伸的方向还包括：(1) 把 latch 机制与 model-based predictive control 结合，使 $H_{reuse}$ 随规划不确定性自适应；(2) 用 OGO 思想扩展到「横向+纵向」联合结构化更新，但只对安全关键分支（如切入/避障）启用横向梯度；(3) 把判别器从「单 clip 评分」扩展到「multi-clip 跨场景」评估，借助 retrieval-based 记忆库学得场景间可迁移的「安全概念」；(4) 与 VLM（GPT-4V、DriveVLM）结合，让语言推理先给出 high-level 意图，再用 RAD-2 的 OGO 把它落地为可执行轨迹。

复现评估整体偏正面但有门槛：作者在项目页 https://hgao-cv.github.io/RAD-2 承诺公开代码与 checkpoint，且数据规模与训练时长是主要门槛——(a) 5 万小时预训练数据 + 50K clip 闭环仿真 + 1,044 clip 3DGS 训练，体量在百万级 GPU-hour；(b) 硬件上，50k clips 在 BEV-Warp 仿真下做 500K 环境步联合优化，按 Tab. 4 显示总训练时间步较长，需要 ≥ 8 张 A100/H100 级别 GPU；(c) 复现难度：感知 backbone、扩散 DiT、判别器 Transformer、iLQR 控制器、warp 矩阵计算、TC-GRPO 训练 loop 都需要工程级实现，论文虽给出了 $J_{RL}(\phi)$、OGO MSE loss 等关键公式但未列出全部超参（学习率、batch size、KL 系数等）；(d) 评测端 BEV-Warp 与 3DGS 数据集都来自真实世界采集的 10-20s 长 clip，需自己采集与标注才能复用，论文未承诺公开数据；(e) Senna-2 基准、Navsim 这类公开基准可立即复现开环结果（Tab. 3 的 FDE 0.553m, ADE 0.208m），而闭环 BEV-Warp 与 3DGS 评测需申请或自建。整体而言，开环数字易复现、闭环与真实部署结果复现成本高。