表征胜于路由：诊断多时间尺度 PPO 中的时序路由病态 Representation over Routing: Diagnosing Temporal Routing Pathologies in Multi-Timescale PPO
揭示多时间尺度PPO中可微路由器被代理目标利用的失败模式并提出Target Decoupling。
前置知识
近端策略优化 (Proximal Policy Optimization, PPO)
一种 on-policy 演员-评论家算法，用截断代理 $\mathcal{L}^{\text{CLIP}}$ 限制新旧策略更新幅度，是连续控制最主流的策略梯度方法。
论文所有实验都基于 PPO，读者必须理解代理目标中的 $r_t(\theta)$ 与 $\hat{A}_t$ 如何进入策略梯度，才能看懂路由器为何成为可被利用的优化通道。
广义优势估计 (Generalized Advantage Estimation, GAE)
通过指数衰减的 TD 残差迹聚合多步优势 $\hat{A}^\gamma_t = \sum_{\ell=0}^{\infty}(\gamma\lambda)^\ell \delta^\gamma_{t+\ell}$，用 $\lambda$ 控制偏差-方差。
论文中每个时间尺度头都使用 GAE 估计优势。理解 GAE 在不同 $\gamma$ 下的迹长度不同、以及不同 $\gamma$ 头之间尺度不可比，是理解'尺度差异脆弱性'的前提。
多时间尺度价值表征 (Multi-Timescale Value Representation)
让 critic 同时输出多个折扣因子 $\Gamma = \{\gamma_1, \gamma_2, \ldots, \gamma_K\}$ 对应的值预测 $V_{\gamma_i}(s)$，各头共享参数或拥有独立参数头。其动机来自神经科学中多巴胺系统的分布式时序编码假说。
本文的中心对象正是这种多时间尺度 critic。读者必须先理解为什么研究者会引入多 $\gamma$ 头（短视信号低方差但偏向立即奖励，长视信号匹配延迟目标但早期难估），才能体会作者提出的'路由是否合理'这一关键问题。
可微路由器 (Differentiable Router) 与 Softmax 注意力
通过 softmax $w_i(s;\phi) = \exp(z_i(s;\phi))/\sum_j \exp(z_j(s;\phi))$ 对多个头进行状态依赖的动态加权。路由权重 $w$ 本身是可学习参数，通过反向传播在端到端目标中联合优化。
本文故障模式的核心机制就藏在 softmax 中。由于路由权重通过代理目标获得梯度，它不再是'被动解释层'，而成为代理可利用的优化变量。理解这一点是看懂 Surrogate Objective Hacking 的关键。
熵坍缩 (Entropy Collapse)
在多分类 softmax 分布中，如果某一类的对数 logits 持续被推高、其余被压低，分布会从接近均匀（高熵）变为接近 one-hot（熵趋于 0），即 H(w) → 0 的现象。这是过自信或梯度偏向在概率分布上的可观测签名。
论文把路由器熵 H(w) 作为诊断签名：当 H(w) → 0 时，路由器不再是'渐变时序混合'，而退化为'硬选择器'，这就是尺度差异脆弱性的可视化表现。
不确定性加权 (Uncertainty Weighting)
在多任务或多头学习中，根据各任务/头的不确定性（通常用预测误差或方差衡量）动态调整其权重，常见方法包括 SUNRISE、GradNorm 等。其直觉是'不确定的任务少学一点'。
论文第二节用误差加权 $w_i = \exp(-|\delta^{\gamma_i}|/\tau)/\sum_j \exp(-|\delta^{\gamma_j}|/\tau)$ 作为可微路由的替代方案，发现它会引出'时序不确定性悖论'。
研究动机
在时序信用分配中，单一折扣因子 $\gamma$ 只能服务一个时间尺度。短视头（如 $\gamma=0.5$）提供密集低方差信号但易让策略偏向立即奖励塑形；长视头（如 $\gamma=0.999$）匹配延迟目标但训练初期难估。受多巴胺系统分布式时序编码启发，critic 常同时预测 $\Gamma = \{0.5, 0.9, 0.99, 0.999\}$ 多时间尺度的值，由 actor 通过可微 softmax 注意力或误差启发式在头间动态路由。然而不同 $\gamma$ 头的优势不在同一数值尺度上：值上界为 $|V^\gamma(s)| \le R_{\max}/(1-\gamma)$，GAE 残差迹 $\hat{A}^{\gamma,\lambda}_t = \sum_{\ell=0}^{\infty}(\gamma\lambda)^\ell \delta^\gamma_{t+\ell}$ 在不同窗口累积后尺度与方差差异显著。标准 batch-norm 只归一化最终路由出的标量，无法校准 softmax 决策前看到的多头原始输入——给 PPO 代理留了一条可被利用的数值通道。
本文的目标是本文的目标是诊断性而非性能驱动：在受控的 PPO + LunarLander-v2 设定下，验证多时间尺度路由是否真的是可靠的'时序抽象'，还是只是一条能让代理目标变好的数值捷径。具体包含三件事：(1) 形式化并观测'代理目标黑客化 (Surrogate Objective Hacking)'，即当 softmax 路由器在 PPO 代理目标内部被联合优化时，它会偏向于在当前更新中数值上有利的优势头，并伴随熵坍缩与早期最大优势头跟踪行为；(2) 识别'时序不确定性悖论 (Paradox of Temporal Uncertainty)'，即基于 TD 误差的反向梯度路由会让短视头因为目标更易预测而获得最大权重，导致行为偏向短视控制；(3) 评估作为结构性响应的'目标解耦 (Target Decoupling)'，即让 critic 保留多时间尺度辅助头，但 actor 只用 $\gamma=0.999$ 的长视优势更新，从构造上移除 actor 侧可被利用的路由通道。
与已有工作不同的是，现有相关工作（GAE、多 $\gamma$ 价值预测、SUNRISE 类不确定性加权、注意力门控）都默认'让路由器动态选择时间尺度头'是一个好设计，但没有人系统地审视过：当路由器被放进 PPO 代理目标并允许梯度回传时，它是否被代理利用来'做正确事'？本文的独特切入角度是把多 $\gamma$ 设计从'表征问题'重新定位为'优化几何问题'：不同的折扣因子产生不可比的代理标量，作者用 LunarLander-v2 作为'视觉诊断沙盒'（不是 benchmark 主张），引入 HackRate、注意力熵、最终回报分布等三组诊断指标，并提出'结构性分离原则'作为修复。区别于 reward hacking/specification gaming 这类外部奖励病态，本文刻画的是代理内部、时序聚合机制上的失败模式——这在以往文献中没有被显式讨论。
核心方法
本文方法是一套'结构-失败-修复'的诊断框架。第一步建立多时间尺度 critic，critic 损失对各 $\gamma$ 头做值回归。第二步是 actor 端两套路由器：可微 softmax 注意力版与无梯度误差版，分别按 $w_i$ 加权得路由优势 $\hat{A}_w = \sum_i w_i \hat{A}^{\gamma_i}$。第三步推导 $\partial \hat{A}_w / \partial z_j = w_j(\hat{A}^{\gamma_j} - \hat{A}_w)$，证明路由器梯度直接朝向数值上有利的头，形式化代理目标黑客化；并把熵 $H(w) = -\sum_i w_i \log w_i$ 作为'熵坍缩签名'。最后 Target Decoupling 从构造上让 actor 只用 $\hat{A}^{\text{actor}} = \hat{A}^{\gamma=0.999}$，critic 保留短视头作为正则。
本文核心创新是把'多时间尺度 PPO 中的失败模式'从经验观察提升为'带梯度的形式化机制 + 结构性修复方案'。和已有方法的本质区别有三点：(1) 与通常的'多任务学习 + 不确定性加权'文献相比，本文把失败归因于 PPO 代理对路由器的隐式利用（梯度直接穿过 $\partial \hat{A}_w / \partial z_j$ 选择数值上最大的优势），而不是把不确定性加权当作通用银弹；(2) 与 GAE 类'在迹上做折扣'的设计相比，本文攻击的是更高一层：跨不同 $\gamma$ 头的优势没有被共同校准，softmax 在原始尺度上做选择，即便后端做了 batch-norm 也无法修复 router 输入端的尺度差异；(3) 与 RUDDER/HiRO 等分层 RL 不同，Target Decoupling 不是引入新机制，而是在 actor 端用最简单的方式切断'路由器进入代理目标'这条捷径——本质上是一种'代理侧不变量设计'，让路由只在 critic 侧作为表征辅助存在。
方法步骤详情
完整流程分五步。第一步环境与架构：PPO + MLP actor-critic，折扣集合 $\Gamma = \{0.5, 0.9, 0.99, 0.999\}$（4 头），critic 共享躯干 + 4 个独立值头。第二步构建可微路由器：actor 输出 4 个 logits，softmax 后路由得 $\hat{A}_w$；标量经 batch-norm 后送入 $\mathcal{L}^{\text{CLIP}}$。第三步是诊断三件套：HackRate（随机基线 $1/4$）、路由器熵 $H(w)$（最大熵 $\log 4$）、episodic return。第四步用无梯度误差路由器替换：按 $w_i \propto \exp(-|\delta^{\gamma_i}|/\tau)$ 加权，5 种子跑同样诊断。第五步 Target Decoupling 基线：actor 只取 $\hat{A}^{\text{actor}} = \hat{A}^{\gamma=0.999}$，critic 仍按多 $\gamma$ 头训练。所有实验统一 5 种子。
技术新颖性
技术新颖性体现在四个层次。机制层：推导 $\partial \hat{A}_w / \partial z_j = w_j(\hat{A}^{\gamma_j} - \hat{A}_w)$，把'路由器被代理利用'从直觉变成可计算命题。尺度层：给出值上界 $|V^\gamma(s)| \le R_{\max}/(1-\gamma)$ 与有效窗口对应上界，定量说明不同 $\gamma$ 头为何不可直接比较，并指出 batch-norm 只校准聚合后标量而不校准 softmax 输入决策。诊断层：把 HackRate 与注意力熵、return 组成三面板，并把 $H(w) \to 0$ 作为代理黑客化的可识别签名。修复层：Target Decoupling 不引入新网络或损失项，而是重新设计 actor/critic 接口（actor 强制只看 $\gamma=0.999$ 的优势），从构造上消除可利用通道——这种'用结构而不是正则'的修复思路与普通辅助损失或路由器正则化形成对比。
实验结果
三组实验在 LunarLander-v2 上各跑 5 种子。Figure 1（可微注意力路由器三面板）：训练早期 HackRate 显著高于随机基线 $1/4=0.25$；随后注意力熵 $H(w)$ 快速从接近 $\log 4 \approx 1.386$ 坍缩到接近 0，路由器从'渐变时序混合'退化为'硬选择器'，episodic return 始终不稳定且未解任务——这是 Surrogate Objective Hacking 的诊断签名。Figure 2（无梯度误差路由器）：$\gamma=0.5$ 短视头获得最大路由权重（TD 误差最小），return 仍较差，呈现 myopic degeneration——这是 Paradox of Temporal Uncertainty 的证据。Figure 3（Target Decoupling 可靠性）：训练后 10% 窗口中，Target Decoupling 的 worst-seed return 显著高于严格长视基线、跨种子离散度更小；附带消融显示'辅助头降低长视优势批内方差'的假设不被数据支持。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LunarLander-v2 上多时间尺度 PPO 训练（5 种子，可微注意力路由器） | HackRate（路由器偏向最大优势头比例，越高越病态）+ 注意力熵 H(w) + episodic return | HackRate 早期显著高于 0.25 随机基线；H(w) 快速坍缩至接近 0；return 曲线始终低且不稳定 | 随机路由器基线 HackRate = 1/4 = 0.25；最大熵基线 H(w) = log 4 ≈ 1.386 | 诊断为'失败模式确认'：路由器并未学到时序抽象，而是被代理利用做数值上最有利的头选择 |
| LunarLander-v2 上多时间尺度 PPO 训练（5 种子，无梯度误差路由器） | γ=0.5 短视头路由权重占比 + episodic return | 短视头获得最大路由权重（TD 误差最小），return 仍较差，呈现 myopic degeneration | 均匀路由 w_i = 0.25 | 诊断为'失败模式确认'：基于误差的路由把易预测的短视头误判为最相关头，与延迟着陆目标错位 |
| LunarLander-v2 上 Target Decoupling 训练（5 种子） | 训练后 10% 窗口的 worst-seed return 与跨种子离散度 | worst-seed return 显著提高，5 种子 return 分布更紧、离散度更小 | 严格长视基线（actor 只用 γ=0.999 但 critic 无辅助短视头） | 作者描述为'可靠性改善'而非通用 SOTA：在该受控设定下消除了 actor 侧可利用的路由通道 |
| 长视优势批内方差消融（验证'辅助短视头降低长视方差'假设） | 批内 long-horizon advantage 方差曲线 | 加入辅助短视头后，长视优势的批内方差与不加辅助头的版本在早期训练后纠缠 | 不加入辅助短视头的 critic 训练曲线 | 假设不被支持：Target Decoupling 的收益应理解为面向可靠性的正则，而非方差减少 |
局限与改进
作者承认的限制：(1) 实验仅在 LunarLander-v2 + PPO + 4 个 γ 头的单一受控设定下进行，不构成对其他环境（Atari、MuJoCo、机器人控制）、其他算法（SAC、TD3、offline RL）、其他折扣集的普适性主张；(2) HackRate、注意力熵、return 三面板是诊断工具而非独立贡献，单独看任何一个都不足以确诊代理黑客化；(3) Target Decoupling 不是通用性能提升器。基于独立观察的额外局限：(a) 路由器梯度的推导假设优势已用 GAE 估计，但 GAE 自身的偏差-方差权衡可能掩盖尺度差异，两层尺度问题在实践中可能耦合；(b) 实验未在更长训练 budget 下验证熵坍缩是否最终可恢复；(c) LunarLander-v2 奖励结构有显著短视塑形项，对尺度差异更敏感，结论在稀疏奖励环境下的迁移性未知；(d) 论文未完整给出 PPO 超参表，限制复现精度。
独立分析的弱点
独立审视有四点弱点。第一是诊断工具局部性：HackRate 只检测'路由器是否偏向最大优势头'，并不能直接量化'这种偏向是否真的导致策略劣化'，因为从诊断三面板到'是否解任务'之间还隔着策略更新幅度、GAE λ、clip ε 等耦合变量；改进方向是把 HackRate 扩展为'相对策略退化率'。第二是无梯度误差路由器的温度 $\tau$ 与折扣集合耦合，实验没做温度敏感性分析；改进方向是报告不同 $\tau$ 下 γ=0.5 权重与 return 曲面，并加入 stop-gradient 路由器作为对照。第三是 Target Decoupling 实际把多时间尺度设计的好处压回了 critic 侧，但论文没直接评估 critic 辅助头对表征质量的贡献；改进方向是加入 critic-only 辅助消融。第四是缺乏理论保证，没有证明在什么条件下熵坍缩可避免、什么条件下路由器可以学到有意义的时序混合；改进方向是引入 head-wise 优势校准并在理论上证明校准后路由梯度期望为 0。
未来方向
作者在 Conclusion 中明确给出两个未来方向。(1) 跨算法跨环境迁移：把诊断推广到 SAC、TD3 等 off-policy 算法的多时间尺度 Q 头、offline RL 中带外推偏差的值估计、以及机器人/安全关键控制任务（短视反射与长视目标冲突更严重）。(2) 路由器机制替换：用 head-wise 优势校准、stop-gradient 路由器、或上下文依赖的'威胁评估模块'替代裸 softmax，使路由器在'感知即时风险'时可切到短视反射而不暴露 actor 端可被利用的梯度通道。基于成果还能延伸：(a) 把代理目标黑客化的诊断思想推广到 multi-task RL 中的 task routing；(b) 探索层级预测编码风格的世界模型在保持多时间尺度表征的同时保持 actor 端与长视目标对齐；(c) 跨头优势校准的通用形式：在路由前对每个 $\hat{A}^{\gamma_i}$ 做 rank-based 或 quantile-based 标准化，使 softmax 输入可比，从根上消除尺度差异脆弱性。
复现评估
可复现性整体偏中等。代码完全开源，仓库为 https://github.com/ben-dlwlrma/Representation-Over-Routing，可复现所有 Figure 1/2/3。训练算力需求低：LunarLander-v2 是小型连续控制任务，4 折扣头 + 5 种子在单卡消费级 GPU（如 RTX 3060/4060）上数小时内完成，作者未给出 wall-clock，根据问题规模估计在小时量级。复现难度：(1) 论文已给折扣集合 $\Gamma = \{0.5, 0.9, 0.99, 0.999\}$、路由器温度 $\tau$、辅助损失权重 $\lambda$、clip $\epsilon$、GAE $\lambda$、MLP 架构与宽度，但正文未完整列出 PPO 全部超参表（学习率、batch size、optimizer、epoch 数等），需查 GitHub 仓库 config；(2) 5 种子随机种子管理必须严格一致；(3) LunarLander-v2 reward shaping 在不同 Gym 版本间有轻微差异，建议固定环境版本。
论文图表