PR-OPD：面向智能体强化学习的特权表征在策略自蒸馏 PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning

一次 Stage-II 迭代（Algorithm 1）的完整流程如下。第一步，rollout 策略 $\pi_{\theta_j}$ 无技能为每任务采 G 条轨迹（每步 16 任务×8 rollout），缓存 rollout log-prob 并按 $A_i=(R_i-\mathrm{mean}(R))/\mathrm{std}(R)$ 计算 GRPO 组相对优势。第二步，把每条轨迹的交互记录与奖励序列化为 $z_i=\mathrm{Serialize}(\tau_i,R_i)$，用指令 $I_{\mathrm{hind}}$ 提示同一策略采样生成技能 $s_i\sim\pi_{\theta_j}(\cdot|z_i,I_{\mathrm{hind}})$，此步无梯度、无独立 SFT。第三步，对每轮上下文用模板 $e_x=H(x,s_i)$ 前置技能，学生处理 $(x,y)$、教师处理 $(e_x,y)$，两次前向看到完全相同的响应 token，教师不生成替代动作。第四步，逐层提取预测响应 token 前的隐藏态 $h^{(\ell)}_{S,k}=f^{(\ell)}_\theta(x,y_{<k})$ 与 $h^{(\ell)}_{T,k}=f^{(\ell)}_\theta(e_x,y_{<k})$，因教师提示更长，按响应 token 而非绝对位置配对。第五步，学生态过每层 MLP 投影器 $g^{(\ell)}_\psi:\mathbb{R}^d\to\mathbb{R}^d$（单隐层 512 维，两 backbone 的 $d{=}2048$）得 $p^{(\ell)}_{S,k}$。第六步，计算 $\mathcal{L}_{\mathrm{PRA}}$ 并与 $\mathcal{L}_{\mathrm{RL}}=\mathcal{L}_{\mathrm{GRPO}}+\beta\mathcal{L}_{\mathrm{KL}}-\eta H(\pi_\theta)$ 相加（$\beta{=}0.01$、$\eta{=}0.001$、$\lambda{=}0.01$），对 $\theta$ 与 $\psi$ 联合取一步优化，不使用任何输出空间蒸馏项。

技术新颖性体现在四点。其一，诊断贡献本身：首次系统量化特权信息在两个通道的分布——输出通道变化率 23.7%/16.4% 对隐藏态通道 81.3%/93.3%，动作 token 上输出几乎沉默，并用线性探针（隐藏态 65.4%–98.3% 对输出特征 50.2%–54.0%）与 CKA 定位了信息所在，Figure 1(c) 还证明直接对齐隐藏态的学生（64.8%）能超过教师（56.2%）。其二，自蒸馏设定下的表征对齐是新问题：与 OPRD/LastOPD 处理的固定异构教师不同，这里层一一对应、无需层映射，且教师目标随策略移动——对齐曲线显示初始损失 1.22–1.52，4–7 步内跌破 0.5，11–19 步内跌破 0.3，终点余弦相似度 0.913–0.933，八组运行无一发散。其三，逐层对齐有机制证据：1.7B 的技能可读性在中间层达峰值 79.4%、末层回落到 70.1%，说明 LastOPD 式末层对齐会错过信息最清晰处。其四，投影器不是可有可无的细节：学生原始隐藏态还要喂给自己的语言模型头，投影器提供可学习缓冲，在 1.7B 上把对齐从崩塌（36.7%，低于 GRPO）扭转为最佳结果（46.9%）。

独立弱点分析。第一，「输出通道无信息」的结论受限于测量方式：探针只用了三种输出特征（采样 token log-prob、top-64 log-prob、256 维随机投影的完整分布），作者自己在附录 F 承认近随机准确率不能证明完整输出分布不含该信息，「换通道」的必要性论证留有余地，可用更强读出（如训练一个小型解码器）复检。第二，对齐目标是移动的，本文规模下稳定，但 LastOPD 曾报告 latent 蒸馏在训练后期崩塌，PR-OPD 只训 150 步、未见长程行为，更大模型更长训练是否仍然安全需要验证。第三，每轨迹一条技能的粒度较粗，相似任务的技能无法复用，逐轨迹生成也增加开销，与技能库/聚类结合可能更高效。第四，对齐权重 $\lambda=0.01$ 全程固定，未探索奖励学习与表征对齐的动态平衡，例如随对齐损失下降对 $\lambda$ 退火。第五，只在方向上对齐，范数差异可能携带置信度信息，可改为方向与范数解耦的对齐。第六，投影器在小模型上必需（1.7B 无投影器直接崩到 36.7%）暗示小模型表征可塑性差，可尝试分层分组对齐或低秩投影约束进一步稳定训练。

作者提出的方向：对齐损失在 150 步仍在稳定下降（余弦 0.913–0.933 且未收敛），作者明确留有更长 Stage II 训练的空间；方法框架是通用的，可推广到更多环境与更大模型。基于其成果可延伸的研究：其一，把隐藏态对齐迁移到数学推理、代码生成等非智能体 RLVR 任务，检验「优势藏在表征中」是否普遍规律；其二，研究自蒸馏中层角色的演化——结合 LastOPD 关于跨模型层角色错配的发现，追踪逐层对齐收益如何随训练推移，可能出现「先中间后末层」的阶段效应；其三，让技能生成可微或用强化学习优化技能质量，把「写什么技能」与对齐收益直接挂钩；其四，在线技能聚类与检索，同任务簇共享技能以减少生成开销并研究跨轨迹技能泛化；其五，从理论上解释为何共享权重的移动教师不导致目标漂移崩塌，可能得到比固定教师更良定的蒸馏分析；其六，把方向对齐扩展为方向加范数或能量距离目标，保留幅度信息。

复现评估：代码已在 GitHub 开源（balibata/PR-OPD），实现基于公开的 SDAR 代码库，分布式训练用 verl、rollout 用 vLLM，工程栈主流且文档化的超参齐全。环境与数据全部公开：ALFWorld seen split 140 个任务实例、WebShop 标准测试集前 500 条指令。附录 C 给出全部关键设置：KL 系数 $\beta=0.01$、熵系数 $\eta=0.001$、对齐权重 $\lambda=0.01$、投影器学习率 $10^{-4}$（单隐层 512 维）、评估温度 0.4、每步 16 任务×8 rollout、总 150 步、热身 $N$ 按环境取 100/120。主要门槛是硬件：8 张 NVIDIA B200 GPU、64 核 CPU、450GB 内存，中小实验室难以原样复现；不过方法本身只是在 GRPO 之上加一次教师前向与一个小 MLP，迁移到 8×A100 或减少组数应当可行。统计方面每个配置只有单种子训练，复现表格中的点估计不难，但要复现结论的统计置信需要自己补多种子实验。综合判断：代码与数据齐全、无私有依赖，复现难度中等，瓶颈在算力而非算法细节。