基于评分标准的在线策略蒸馏 Rubric-based On-policy Distillation
用语义化评分标准替代教师 logits 的黑箱在线蒸馏框架。
前置知识
On-Policy Distillation (在线策略蒸馏, OPD)
一种让 student 模型基于自己生成的轨迹进行训练、并由 teacher 模型提供监督信号的范式。与离线 SFT 不同，OPD 缓解了 exposure bias，使训练分布与推理分布对齐。
ROPD 正是对 OPD 范式的扩展，要理解 ROPD 为何强调 on-policy 必须先明白离线 SFT 在 autoregressive 生成时会累积自身错误。
Logit-based OPD (基于 logits 的蒸馏)
传统 OPD 需要 teacher 输出每个 token 的完整概率分布 $p_T(\cdot|x, y_{<t})$ 作为密集监督信号，要求 teacher 是开源白盒的。
这是 ROPD 要解决的核心瓶颈——logit 监督把 teacher 锁死在白盒设定，限制了对 GPT-5.2 等闭源模型的蒸馏。
GRPO (Group Relative Policy Optimization)
DeepSeek-R1 系列提出的 RL 算法，去掉 critic，用同一 prompt 的一组 $n$ 个 rollout 的相对奖励做 advantage 归一化: $A_i = (r_i - \bar{r})/(\sigma_r + \epsilon)$。
ROPD 把 rubric 加权通过率作为 GRPO 的响应级奖励，公式 (5) 中 $R(y_i^S) = \sum_k w_k v_{i,k} / \sum_k w_k$ 直接喂给 GRPO。
Rubric-based Reward (评分标准奖励)
将响应质量拆解为 $K$ 条带权重的二元判据 $\{(\rho_k, w_k)\}_{k=1}^K$，每条独立可验证，最终得分是加权通过率。
这是 ROPD 区别于 T-Judge、OVD、GAD 等标量打分方法的核心：评分标准把单一标量解耦为可解释的细粒度判据。
RLVR 与可验证奖励
Reinforcement Learning with Verifiable Rewards，即用规则或外部验证器给出确定性的 0/1 奖励，广泛用于数学与代码任务。
ROPD 把 rubric 视作 soft RLVR，既保留 outcome-oriented 的离散奖励性质，又能处理开放式任务。
研究动机
当前主流的 logit-based OPD（MiniLLM、GKD、ExOPD 等）将 teacher 的输出 logits 作为密集监督，迫使 student 模仿 teacher 的 token 级分布。这一设定带来三个现实痛点：第一，teacher 必须是白盒开源模型，闭源旗舰（如 GPT-5.2、Claude）无法作为 teacher；第二，即使 teacher 开源，跨架构（如 Qwen3-4B 到 Gemma3-4B）的 tokenizer 对齐也是工程难题；第三，更根本地，文中 Figure 4 (a) 揭示 teacher 的 logprob 与回答正确性呈反相关（AUC 仅 0.35），意味着像 teacher 不等于答对题，LOPD 在 AIME24 上 student-teacher gap 仅闭合 42.1%，白盒信号在复杂推理上效率低下。
本文的目标是作者希望构建一个完全不依赖 teacher logits、仅靠文本交互即可完成的 OPD 框架 ROPD，让闭源旗舰模型也能当 teacher，同时在效率与最终性能上反超现有白盒方法。论文给出三个量化目标：(1) 在黑盒场景下全面超过 T-Judge、OVD、GAD；(2) 在白盒场景下逼近甚至超越 LOPD/ExOPD；(3) 把数据效率提升约一个数量级（图 1 (a) 宣称 10 倍样本效率增益）。
与已有工作不同的是，现有黑盒方法（T-Judge、OVD、GAD、ORPO-Distill）的奖励信号本质上是单一标量或整体偏好，缺乏可解释、可解耦的判据；而 Rubric-based RL（RaR、OpenRubrics、Rubicon、RLER）虽用 rubric 但把 rubric 当作静态评估工具，没有利用 teacher 的多答案与 student 当前的 on-policy rollout 做对比。ROPD 的独特切入角度是：用同一份由 teacher 多答案 vs student 多 rollout 对比诱导出的 prompt-specific rubric 同时作为蒸馏接口，把 rubric 生成和蒸馏优化耦合成一个端到端的 RL 循环，从而兼顾黑盒兼容性与 outcome-level 的判别力。
核心方法
ROPD 把黑盒 OPD 拆成 Rubricator 和 Verifier 两个 LLM 角色（论文里通常都由 teacher 兼任）。直觉上：先让 teacher 答 $m$ 次得到 $Y_T^x$、让 student 答 $n$ 次得到 $Y_S^x$，Rubricator 通过对比两组回答归纳出 $K$ 条共享判据 $\{(\rho_k, w_k)\}_{k=1}^K$；Verifier 在看不到身份的情况下对每个 student rollout 给出 $K$ 个二元判分 $v_{i,k} \in \{0,1\}$，加权通过率 $r_i = \sum_k w_k v_{i,k}/\sum_k w_k$ 就成为 GRPO 的响应级奖励。技术上，整个流程在 Algorithm 1 中以 7 步实现：采样、rollout、rubric 归纳、二元评分、group-relative advantage、clipped policy gradient、更新参数。
ROPD 与已有方法的本质区别在于 rubric 的来源与奖励粒度。T-Judge/OVD/GAD 都是把 teacher 当整体打一个标量分，rubric-based RL 则把 rubric 当静态评估器；ROPD 把 rubric 重新定位为蒸馏接口——它由 teacher-student 对比动态归纳、为同一 prompt 下所有 student rollout 共享、且权重 $w_k\in[1,5]$ 由 Rubricator 自适应分配。这种按题定制 + 共享 + 加权的三合一设计让 GRPO 的 advantage 在组内获得足够 spread（Table 6 中去掉 sharing 后从 65.02 掉到 61.25，去掉 multi-teacher 掉到 47.08，验证每一项都不可缺）。
方法步骤详情
Algorithm 1 给出 7 步流程：(1) 从数据集抽 batch 的 prompt $x$；(2) 让 teacher 采 $m=4$ 条参考答案 $Y_T^x$；(3) 用旧策略让 student 采 $n=8$ 条 on-policy rollout $Y_S^x$（温度 1.0）；(4) Rubricator 接收 $(x, Y_T^x, Y_S^x)$ 生成 $K\in[4,12]$ 条共享 rubric，每条含 category∈{Task Completion, Observable Quality, General Reasoning} 与权重 $w_k\in[1,5]$；(5) Verifier 盲测给出 $K$ 个二元判断 $v_{i,k}\in\{0,1\}$，得分 $r_i=\sum_k w_k v_{i,k}/\sum_k w_k$；(6) 在组内做 GRPO advantage $A_i=(r_i-\bar{r})/(\sigma_r+\epsilon)$；(7) 用 clipped surrogate 更新 $\theta$。
技术新颖性
技术上三点新颖：(a) On-policy Rubric 概念——rubric 不是静态模板，而是 student 当前 rollout 的函数，使奖励信号与策略同步演化；(b) 多答案对比归纳——$m=4$ 条 teacher 答案提供风格无关的判据，避免 path-matching（Table 6 表明去掉多答案直接掉 17.9 个 Pass@1 点）；(c) Blind Verification——Verifier 同时被混入 teacher 的 $m$ 条回答一同评分（teacher 也参与判分但只算 student 梯度），把 teacher 当作 difficulty anchor 防止评分坍缩到均值（去掉后掉 3.25 点）。与 RaR/OpenRubrics/Rubicon 相比，ROPD 是首个把 rubric 同时作为蒸馏信号和 on-policy 评估器的工作。
实验结果
论文给出五个核心结论：(1) 黑盒全面领先，Table 1 中 ROPD 在 7 个 benchmark × 2 模式共 14 个 cell 中 14/14 第一，Qwen3-4B 学生从 24.17 提到 65.02（+40.85），最惊艳是 AIME25 thinking 上 ROPD（68.75）反超 teacher GPT-5.2-chat（67.08）。(2) 白盒反超：Table 2 显示 ROPD AIME24 拿到 63.33，超过 LOPD 47.92 与 ExOPD 50.66，闭合 74.1% student-teacher gap。(3) 10 倍样本效率：Figure 3 显示 ROPD 用 1.6k 样本追平 LOPD 15.4k 样本；wall-clock 6.3 倍加速。(4) 跨架构稳健：换成更弱 Gemma3-it-4B，ROPD 在 AIME24 仍把 6.67% 提到 10.00%。(5) 机制洞察：rubric reward AUC 达 0.90，teacher logprob 仅 0.35。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24 黑盒 no-think | Pass@1 | 65.02% | T-Judge 62.50% / OVD 61.56% / GAD 27.52% | +40.85 相对学生基线 24.17%，14 个黑盒设置中均第一 |
| AIME25 黑盒 thinking | Pass@1 | 68.75% | GPT-5.2-chat teacher 67.08% | 反超 teacher +1.67，且超 T-Judge 65.48 |
| HMMT25 Nov. 黑盒 no-think | Pass@1 | 41.67% | T-Judge 38.75% / 学生 7.08% | +34.6 绝对提升，最大单点增益 |
| AIME24 白盒 no-think | Pass@1 | 63.33% | ExOPD 50.66% / LOPD 47.92% | +12.67 相对 ExOPD，闭合 74.1% student-teacher gap |
| 白盒平均 4 个数学 benchmark | Pass@1 | 45.87% | ExOPD 35.25% / LOPD 32.82% | +10.6 相对 ExOPD |
| IFEval 黑盒 thinking (OOD) | Pass@1 | 86.95% | 学生基线 86.46% | +0.49，无灾难性遗忘 |
| AIME24 跨架构 Gemma3-4B | Pass@1 | 10.00% | 学生基线 6.67% | +3.33 绝对 / +50% 相对 |
| 样本效率 (AIME24 48.3%) | 训练样本数 | 1.6k | LOPD 15.4k | 9.6 倍样本效率提升 |
| 端到端 wall-clock 加速 | 小时 | 5.5h | LOPD 34.4h | 6.3 倍加速 |
| 奖励-正确性对齐 AUC | AUC | 0.90 (rubric) | 0.35 (teacher logprob) | 从近随机提升到高判别力 |
局限与改进
作者在第 6 节明确两点局限：(1) 评估集中在数学、医学、科学等可形式化推理任务，subjective 与创造性任务上的效果未验证，IFEval 不掉点能部分缓解担忧；(2) Rubricator 和 Verifier 依赖 teacher 的指令遵循能力，作者用辅助 LLM 替换后性能变化很小，但仍需更多架构验证。我观察到的额外局限：(a) Table 6 显示没有 multi-teacher 时性能从 65.02 暴跌到 47.08，teacher 调用次数敏感，黑盒 API 成本上升；(b) Rubricator 需解析 JSON 输出，pipeline 复杂度比纯 SFT 高；(c) Figure A7 显示 top-24 token overlap 在所有 checkpoint 都 ≥0.9986，已饱和，意味着 tokenizer 对齐对 LOPD 是问题但对 ROPD 不是。
独立分析的弱点
(1) Verifier 可能受 position/format bias：Table 6 中 w/o blind scoring 掉 3.25 点，但论文未深入分析 bias 来源，未来可借鉴 swap position、citation calibration 等 debias 思路。(2) Rubric 类别分布偏置：Rubricator 自主选 K∈[4,12] 与 wk∈[1,5]，Table A1 显示容易出现 formatting 类条目偏多，未来可加 entropy 正则或 KL 约束。(3) 数据规模有限：Table A2 显示最多 625 步 × 32 batch ≈ 20k 样本，未验证百万级 scaling。(4) 计算开销：每 prompt 多 4 次 teacher 推理 + 1 次 rubric induction + 8 次 verification，API 成本是落地障碍。(5) Failure mode：Appendix B 提到 <2% rollout 早期出现 keyword stuffing 作弊，需要更系统的 anti-hack 奖励塑形。
未来方向
作者在第 6 节给出大方向：rubric-based OPD 把蒸馏从 token 级模仿重塑为结构化语义原则的迁移，未来可探索 (a) rubric 的动态演化机制（与 RLER/SibylSense 的 evolving rubric 结合）；(b) 用更弱的开源模型替代 GPT-5.2 当 Rubricator，降低闭源依赖；(c) 把 ROPD 推广到多模态、code generation、agentic tool use 等开放式任务。基于结果的延伸：(d) 借鉴 Rubicon 的多阶段训练解决 seesaw effect（Table 5 显示三类 rubric 都能正向增长但不同步）；(e) 探索 rubric-aware 的数据 curriculum——按 rubric 通过率对 prompt 难度聚类，做 from-easy-to-hard 的训练调度；(f) 在长上下文 (32k tokens) 与 multi-turn 对话上验证 ROPD 的 rubric 归纳质量。
复现评估
作者在摘要末尾公开代码仓库 https://github.com/Peregrine123/ROPD_official。复现所需资源：8×A100-80GB GPUs，数据 DAPO-Math-17K / RaR-Science-20k / RaR-Medical-20k 均公开，学生模型 Qwen3-4B 与 Gemma3-it-4B 开源，teacher GPT-5.2-chat-latest 需 API key。复现难度中等偏上：超参数集中在 Table A2（含学习率 $1\times 10^{-6}$、batch 32、GRPO 组大小 8、AdamW (0.9, 0.95)），prompt template 在 Appendix D 完整给出。潜在障碍：(a) GPT-5.2 API 成本让全量复现耗资数千美元；(b) Qwen3-30B-A3B 仍闭源，白盒对比难以完全复现；(c) Rubricator JSON 解析失败需自行实现 retry-validate 回路。
论文图表
消融：base 24.17%；w/o multi-teacher (m=1) 掉到 47.08%（-17.9）；w/o sharing 61.25%（-3.75）；w/o blind scoring 61.75%（-3.25）；Full ROPD 65.02%。
分别量化三个设计选择的边际贡献，是 method 合理性的最强 ablation 证据。
ROPD(50→250) vs LOPD(80→543) 在三类 rubric 上的 cell-level improve/regress 计数。ROPD 总改善 +48、回退 7；LOPD 总改善 +17、回退 17（15.9% 回退率）。
Table 5 / Figure A3 的原始数字版，是 ROPD 单调不回退 论断的硬数据。