叛逆学生：在自蒸馏 RLVR 中反转教师信号以探索推理 Rebellious Student: Reversing Teacher Signals for Reasoning Exploration with Self-Distilled RLVR

RLRT 的训练步骤为：（1）Student rollouts：对 prompt $x$ 用 $\pi_\theta$ 采样 K 条 $y^{(k)}$，得到 $P^S_t(\cdot) = \pi_\theta(\cdot \mid h_t)$；（2）Teacher rollouts：取正确 $y^{(K)}$ 作为特权上下文 $c$，对同一组 prompt 在条件 $c$ 下再前向一次，得到 $P^T_t(\cdot) = \pi_\theta(\cdot \mid h_t, c)$；（3）计算 token 级不对称 $\hat{D}_t = \log P^S_t(y_t) - \log P^T_t(y_t)$，并据此得到 reverse weight $w^{RLRT}_t = \exp(\mathrm{sign}(A^{(k)})\hat{D}_t) = (P^S_t/P^T_t)^{\mathrm{sign}(A^{(k)})}$；（4）计算组内 advantage $A^{(k)} = (R^{(k)} - \mu)/\sigma$，然后对正确 rollout（$r(y^{(k)})=1$）做 reward-gated 替换 $\mathcal{A}^{RLRT,(k)}_t = A^{(k)}(1-\lambda) + \lambda\,\mathrm{clip}(w^{RLRT}_t, 1-\varepsilon_w, 1+\varepsilon_w)$，错误 rollout 保持 $A^{(k)}$ 不变；$\lambda \in [0,1]$ 控制 reverse 信号强度（$\lambda=0$ 退化为 GRPO），$\varepsilon_w$ 是 clip 范围防过激权重；（5）用替换后的 $\mathcal{A}^{RLRT,(k)}_t$ 替代原 advantage 喂给 PPO 风格的 clipped surrogate loss，反向更新 $\pi_\theta$。训练超参采用 DAPO 风格：batch size 256、PPO mini-batch 128、max response length 20480、非对称 clip $\varepsilon_{\mathrm{high}}=0.28, \varepsilon_{\mathrm{low}}=0.2$。

技术新颖性体现在三个层次。第一，概念层：首次把'教师-学生差距'从 alignment target 翻转为 self-driven reasoning locator，提出了'valuable exploration'概念（在已正确 rollout 中既自我偏离又经验正确的 token）代替传统的'均匀多样性'。第二，算法层：RLRT 是首个把 $P^S_t/P^T_t$（而非 $P^T_t/P^S_t$）用作 token 级权重的 RLVR 算法，并配套 reward gate 机制，论文消融表明 reward gate 是不可或缺的——RLRT-all（无 gate）在 step 40 训练坍缩。第三，理论层：贝叶斯教师框架 + Pinsker 不等式给出 $\mathrm{Inf}^S(t)^2 \le 2\bar{D}_t$，严格证明 $\bar{D}_t \approx 0$ 的位置是'惰性'位置，反向用反射注入的因果干预（Fig. 6）在经验上验证了该理论——在 max-$\bar{D}_t$ 位置注入'Wait, let me reconsider.'比 random/min-$\bar{D}_t$ 位置的 wrong→right 翻转率高出 2 倍。

独立分析的具体弱点与改进方向：（1）Teacher 形式单一——RLRT 只用'successful rollout'做 $c$，但 RLVR 训练初期很多 prompt 没有 successful rollout，论文没讨论冷启动问题，改进方向是用 ground-truth solution、self-consistency 多票等更鲁棒的 $c$；（2）Reward gate 阈值过严——硬截断 $r=1$ 意味着所有 $r=0$ rollout 退化为普通 GRPO，失去了对'差一点就答对'轨迹中的自驱 token 的利用，可以尝试 soft gate（如按 reward confidence 加权）或仅 gate 到 high-$\bar{D}_t$ 的位置；（3）算力翻倍——每个 prompt 要做 student rollout + teacher forward，改进方向是共享 KV cache 或在 teacher rollout 阶段关闭梯度、把 teacher 视作 $\pi_{\mathrm{ref}}$ 冻结；（4）Token-level 权重方差大——$w^{RLRT}_t$ 在不同 token 间可能跨几个数量级，虽然有 clip 仍可能放大局部噪声，可考虑加入 $\bar{D}_t$ 阈值过滤掉低不对称位置；（5）Qwen 单一家族——只在 Qwen3 4B/8B 上验证，改进方向是跨家族（Llama、DeepSeek、GPT-OSS）复现以排除架构特异性；（6）评测 benchmark 偏窄——AIME/HMMT/AMC/MATH500 全是同分布的高中竞赛数学，改进方向是加 BBH、MMLU-Pro、ARC-AGI 评估泛化。

作者明确提出的方向：（1）把 RLRT 扩展到 noisier rewards（无 ground-truth 的开放式任务）；（2）探索更广的 on-policy distillation——教师分布可来自不同源（更大的模型、不同 checkpoint、外部 verifier）；（3）跨领域验证（code、tool-use、long-form QA）。基于成果可延伸的方向：（a）把 information asymmetry 从'self-distillation'推广到'cross-model distillation'——用不同模型做教师学生，看 $\hat{D}_t$ 是否仍能定位有价值的探索；（b）动态调整 $\lambda$——训练初期用小 $\lambda$（以稳定为先），后期逐步增大（以探索为先），类似于 entropy coefficient 的退火；（c）与 process reward model（PRM）结合——$\bar{D}_t$ 标记的关键位置天然适合插 PRM step-level reward；（d）在线选择 $c$——不固定用'successful rollout'，而是每 step 在多种 $c$（GT solution、self-revised rollout、judge critique）之间按 $w^{RLRT}_t$ 的方差选择，自动发现最优特权上下文形式；（e）理论扩展——贝叶斯教师框架目前假设 $R \in \{0,1\}$ 的二值 reward，可推广到 dense reward。

复现难度评估：数据公开——DAPO-Math-17k 训练集和 AIME24/25/26、HMMT26、AMC23、MATH500 评估集均为公开 benchmark，无外部私有数据；模型公开——所有 4 个 backbone（Qwen3-4B-Base、Qwen3-8B-Base、Qwen3-4B-Instruct、Qwen3-8B）均来自 HuggingFace 开源；算法透明——RLRT 只在 advantage 替换处修改，核心公式 Eq.(6)(7) 给出，无隐藏 trick；超参清楚——附录 G.2 列出 batch size 256、PPO mini-batch 128、max response 20480、非对称 clip 0.28/0.2、$\lambda$、$\varepsilon_w$ 等；算力要求较高——4 个 backbone × 100 step × 256 prompt/step × 20K token max response，且每个 prompt 要做 student + teacher 两次前向，粗估需要 8-16 张 H100/A100 训数天，中小实验室可能难以全部复现；代码情况——论文未明确标注 GitHub 链接，但作者在 Microsoft Research，通常后续会开源；基线可复现性——GRPO/SDPO/SRPO/RLSD 均为公开方法，但 SDPO/SRPO 在 base 模型上 early collapse，意味着完整复现需要做多组训练直到全部 baseline 都跑通，成本进一步上升。整体判断：中高复现难度，核心算法可实现，但完整 4 backbone × 多 baseline × 多 benchmark 的复现需要相当算力。