问以蒸馏：学习合成面向在线策略蒸馏的训练问题 Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
用RL训练学生初始化的出题器，生成能最大化教师监督信号的蒸馏问题
前置知识
在线策略蒸馏（On-Policy Distillation, OPD）
一种知识蒸馏范式：由学生模型自己采样回答轨迹，教师在学生实际经过的每个状态（即回答前缀）上对下一 token 分布做监督。相比用固定教师示范做 SFT，它消除了训练与推理之间的分布错配，提供密集的 token 级指导，且不需要标准答案或任务专用的正确性验证器。
本文全部工作都服务于 OPD：合成问题只是提示，监督完全来自教师在学生轨迹上的 token 分布，理解 OPD 的监督机制才能理解“问题价值”为何能被定义和优化。
GRPO（组相对策略优化）
DeepSeekMath 提出的强化学习算法：对同一提示采样一组候选输出，用组内奖励的均值和标准差把奖励归一化为相对优势 $A_i=(R_i-\mu)/\sigma$，无需训练价值网络。本文用它训练问题合成器，把问题级奖励作为序列级结果奖励附加到问题最后一个生成 token 上。
A2D 第一阶段就是用 GRPO 更新出题策略；不理解组内相对优势如何作用于生成 token，就无法理解合成器如何“学会出好问题”。
KL 散度与 top-K 支撑集
KL 散度 $D_{KL}(P\|Q)=\sum_v P(v)\log\frac{P(v)}{Q(v)}$ 度量两个分布的差异。本文在每个位置取学生 top-K 候选集 $A_t=\mathrm{Top\text{-}K}(p_S)$ 与教师 top-K 集 $B_t$ 的并集 $U_t$，把两个分布限制在 $U_t$ 上重归一化后再计算 KL。
论文核心奖励 = 分歧 $\delta_t$（并集上的 KL）× 兼容度 $\omega_t$（教师落在学生 $A_t$ 上的概率质量），不懂支撑集与重归一化就看不懂分数定义。
teacher-forced 前缀评分
在学生自生成的前缀 $c_t=(q,y_{<t})$ 上，同时用学生和教师计算下一 token 分布 $\pi_S(\cdot|c_t)$ 与 $\pi_T(\cdot|c_t)$：教师不自己作答，只在学生的前缀上“打分”。这是逐位置比较两个模型偏好差异的标准做法，也是论文所有信号量（分歧、兼容度、学习价值）的计算基础。
“问题作为分布诱导体”这一核心视角的技术根基就是 teacher-forced 评分；没有它就无法在学生实际访问的状态上量化教师能提供什么。
token 可教性（support-aware teachability）
先前工作（Wang et al., 2026b）指出，大的师生分歧未必可学：若教师偏好的 token 质量集中在学生 top-K 候选集之外，下游候选受限更新不会覆盖这些候选，分歧教不了学生。只有“分歧位于学生可达支撑集之内”的位置才对应可教的纠正信号。
A2D 的兼容度因子 $\omega_t$ 直接继承这一刻画，用来过滤“教师想说但学生够不着”的无效分歧，是整个奖励设计的理论来源。
研究动机
OPD 近期研究显示其极高的提示效率：小规模问题子集即可逼近全量题库的性能，甚至单个问题就能恢复大部分收益（Fu et al., 2026; Hou et al., 2026），不依赖外部种子的自生成问题也能有效支撑 OPD（Li et al., 2026a）。这使训练问题本身成为关键瓶颈：教师虽提供监督，但问题决定学生会走到哪些状态、在哪里能获得教师反馈。现有做法——直接用真实题库（DAPO-17k-Math、OpenCodeReasoning、τ²-Bench 训练集）、按师生 KL 分歧筛选真实题（KL-Filtered OPD）、学生直接自生成问题、Evol-Instruct 式指令进化、R-Zero/SQLM 式自博弈出题——都依赖表面复杂度、答案正确性或与特定学生-教师对无关的启发式来判断问题价值，无法回答“这个新问题对这一对特定师生到底能激发多少可用监督”。而且若直接以某种单一信号优化出题模型，还会出现靠更长回答、重复窄题型刷分的 reward hacking 通道。
本文的目标是本文要在三条约束下回答核心问题：没有参考答案、没有任务专用正确性奖励、也不必为每个候选问题各做一次学生更新——如何评估一个新生成问题对目标学生-教师对的蒸馏价值，并用该评估信号学会生成更好的问题。具体目标分三步：训练一个由学生初始化的问题合成器，使其出的问题能在学生自己的轨迹上暴露尽可能多“位于学生可达支撑集内”的教师监督；对生成问题做格式过滤与词汇/语义去重，构建不含答案的 prompt-only 合成题库；用该题库执行标准 OPD，在数学推理、代码生成与智能体任务上验证其相对真实题库、学生自生成与筛选类基线的一致优势。
与已有工作不同的是，本文的独特视角是把问题当作“分布诱导体”（distribution elicitor）：在 OPD 中问题不携带标准答案、不直接供给目标知识，而是诱导学生进入某些状态，使师生差异在那里变得可学。据此把问题价值形式化为沿学生轨迹的分布监督量 $V(q;\pi_S,\pi_T)=\mathbb{E}_{y\sim\pi_S(\cdot|q)}\Big[\sum_{t=1}^{L} s_t/L^{\alpha}\Big]$，逐位置分数 $s_t$ 结合师生分歧与教师在学生候选支撑上的概率质量。与从既有题库做选择、或需要为每题做学生更新来评估的方法不同，A2D 用冻结的师生对直接为问题打分，把 token 级“可教性”刻画升维为问题级 RL 奖励；它在“提示构造”这条轴上工作，与修改监督位置、重加权轨迹或改造下游蒸馏过程的方法正交互补。
核心方法
直觉上，与其依赖人工或启发式出题，不如让一个会出题的模型在“学生作答、教师打分”的闭环里学会出最能引发教学的问题。技术路线分三个各执行一次的阶段：阶段一，合成问题优化——把合成器 $S_\theta$ 初始化为学生 $\pi_S$ 的独立副本，冻结用于打分的学生与教师，用 GRPO 训练 $S_\theta$：每个生成的问题由学生采样一条回答 $y\sim\pi_S(\cdot|q)$，教师被评估在相同前缀上，两者的逐 token 分布折算成问题级奖励 $R(q;B)$；阶段二，合成问题策展——从选定 checkpoint 大规模采样约 20,000 个问题，做格式过滤、Jaccard 词汇去重与 Qwen3-Embedding-4B 语义去重，得到不含答案的 prompt-only 题库；阶段三，在线策略蒸馏——从原始学生参数出发，在策展题库上做标准候选受限的 PPO-clipped 反向 KL 式 OPD。问题生成预算 $L_q=4096$、回答预算 $L_{max}=7168$，后者与下游 OPD 的回答预算一致，保证打分分布与训练分布对齐。
核心创新是“学习价值奖励”。仅有分歧并不够：一个问题可能激发师生预测的巨大差异，但教师概率质量几乎不落在学生更新实际使用的候选集合上，这种分歧教不了。因此逐位置定义学生 top-K 集 $A_t$、教师 top-K 集 $B_t$ 及并集 $U_t$，在 $U_t$ 上重归一化后取教师到学生方向的分歧 $\delta_t=D_{KL}(\bar p^U_T\,\|\,\bar p^U_S)$，并取兼容度 $\omega_t=\sum_{v\in A_t}p_T(v)$，门控相乘 $s_t=\min(\delta_t/(\delta_{ref}+\epsilon),1)\cdot\omega_t\in[0,1]$；再用次线性指数 $R_{raw}=L^{-\alpha}\sum_t s_t$（$\alpha=0.5$）聚合，乘以长度惩罚 $P_{len}=1-\lambda_{len}\min(L/L_{max},1)$ 与批级 BLEU 聚类多样性因子 $P_{div}=\max(0,1-\lambda_{div}\mathrm{share}(q))$。与已有方法的本质区别：KL-Filtered 只能保留高分歧的真实题，Evol-Instruct 追求表面复杂度，R-Zero/SQLM 用求解器正确性反馈出题；A2D 直接以“该问题能让教师在学生可达范围内教多少”为目标信号做 RL，全程无需参考答案。
方法步骤详情
第 0 步校准：从初始学生采 $N_{cal}=200$ 个问题，学生作答、教师在前缀上评估，取全部 token 级 $\delta_t$ 的 95 分位固定为 $\delta_{ref}$。第 1 步合成器训练（60 步）：每步对 8 条指令各采 8 个候选问题（共 64 个）；每个问题由冻结学生采一条回答（预算 7168 token），逐位置取 $K=16$ 的 $A_t,B_t,U_t$ 并重归一化，计算 $\delta_t,\omega_t,s_t$；对整批 64 题做 BLEU 聚类得 $\mathrm{share}(q)$；按 $R=P_{len}P_{div}L^{-0.5}\sum_t s_t$ 计奖励，组内 GRPO 归一化为优势、施加在问题生成的 token 上，只更新 $S_\theta$。第 2 步策展：采 20,000 个原始问题，过滤残缺输出、自言自语（截断到最早元评论标记）、重复 n-gram、低词汇多样性、答案泄漏等，再做 Jaccard $\ge 0.7$ 词汇去重与 Qwen3-Embedding-4B 余弦 $\ge 0.95$ 语义去重，得 prompt-only 题库。第 3 步下游 OPD：从原始学生参数开始，每题采 $n_{roll}=4$ 条回答，逐位置以 rollout 策略构造 $A_t$，候选优势 $r_t(v)=-\bar p^A_{S,old}(v)[\log p_{S,old}(v)-\log p_T(v)]$ 直接作为 PPO-clipped 目标的固定优势（batch 64、lr $10^{-6}$、2 epochs、无价值函数与 KL 锚）。
技术新颖性
新颖性首先在于把 token 级“可教性”刻画（Wang et al., 2026b）从分析工具转化为可优化的生成目标：此前该刻画用于解释或加权 OPD 内部的 token，A2D 把它升维为问题级奖励并用 RL 优化出题策略。奖励各组件精准对应已知失效模式：分歧与兼容度逐位置相乘，既排除“分歧大但学生够不着”的位置，也避免把不同位置的高分歧与高兼容错误组合（若改乘轨迹级均值就会出现后者）；$\alpha=0.5$ 的次线性归一配合乘法长度惩罚，抑制靠更长回答刷分而不消灭累积信号的激励；批级 BLEU 聚类多样性抑制窄题型复读。附录 B 给出两条理论性质：命题 B.1 证明归一化奖励超过 $h$ 即保证至少 $(\bar s-h)/(1-h)$ 比例的位置同时具有分歧 $\ge h\Delta$ 与兼容度 $\ge h$（覆盖证书）；命题 B.2 证明候选优势之和 $=-D_{KL}(\bar p^A_S\|\bar p^A_T)+\log(\omega/a)$，兼容度以共同加性偏置 $\log(\omega/a)$ 进入下游更新，把打分信号与训练目标显式对齐。此外流程自包含：仅复用目标师生对，无外部题目、标签或辅助模型（embedding 模型仅做事后去重）。
实验结果
数学推理（Table 1，六基准 avg@k，3 seed 平均）：Qwen3-1.7B←Qwen3-4B-RL-Math 对 A2D 平均 46.2（Vanilla OPD 43.0、KL-Filtered 44.1、R-Zero 42.3），恢复率 90.2%，如 AIME26 20.0→26.5；R1-Distill-1.5B←JustRL 对 51.6，几乎追平教师 51.7（恢复率 99.9%）；R1-Distill-7B←Skywork 对 64.5 vs 62.9，恢复率 81.3%。代码（Table 2）：Qwen3-4B←4B-Instruct 对 39.6 vs 34.5（恢复率 82.9%）；30B-A3B 教师对 35.7 vs 30.2（恢复率仅 32.8%），APPS-Interview 21.3→31.6、CodeContests 4.8→13.9；Qwen2.5-Coder-3B←32B 对 21.2 vs 20.2。18 个“基准×对”组合中 16 个最佳或并列最佳。智能体（Table 3）：τ²-Bench 三域平均 41.9（Vanilla 40.4），恢复率 79.2%→95.2%。消融：RL 对学生/教师初始化都有改善，学生初始化+RL 在 LCB 约 35% 反超教师参考 33.7%（Fig 3）；去掉兼容度/多样性/长度惩罚各降 2.1–6.6 点（Fig 4）；迭代第 2、3 轮累计仅 +0.44（Table 4）。信号分析（Fig 8）：合成题回答短 20%（1020.7 vs 1280.2 token）但累积信号多 28%（181.7 vs 141.7）。信号验证（Fig 9/10）：单步学习值与 $\bar\delta$ 的 Spearman ρ=0.727（偏相关 0.386），按 $\bar s$ 分桶最高组探针 KL 下降是最低组 2.15 倍，等预算训练五桶 41.06→43.49；高分歧组领先 2.21 点（p=3.1e-4），平衡兼容度后仍 +1.59。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理：Qwen3-1.7B(非思考) ← Qwen3-4B-Non-Thinking-RL-Math（六基准平均） | avg@k（AIME24/25/26、AMC23、BRUMO25、MATH500） | A2D 平均 46.2，教师差距恢复率 90.2% | Vanilla OPD（DAPO-17k 真实题库）43.0；Student-Generated 41.1；KL-Filtered 44.1；R-Zero 42.3 | +3.2 点 vs Vanilla（如 AIME26 20.0→26.5），恢复率较 Student-Gen 的 67.9% 提升 22.3 点 |
| 数学推理：DeepSeek-R1-Distill-Qwen-1.5B ← JustRL-DeepSeek-1.5B | avg@k 六基准平均 | A2D 51.6，恢复率 99.9%（教师 51.7） | Vanilla OPD 50.5（恢复率 90.7%） | +1.1 点，几乎完全追平教师平均性能 |
| 数学推理：DeepSeek-R1-Distill-Qwen-7B ← Skywork-OR1-Math-7B | avg@k 六基准平均 | A2D 64.5，恢复率 81.3% | Vanilla OPD 62.9（恢复率 61.0%） | +1.6 点（AMC23 78.1→83.6，AIME25 41.5→44.8） |
| 代码生成：Qwen3-4B(非思考) ← Qwen3-4B-Instruct-2507（六代码基准平均） | avg@k（LCB、MBPP+、APPS×3、CodeContests） | A2D 39.6，恢复率 82.9% | Vanilla OPD 34.5（恢复率 44.4%）；SQLM 34.9；KL-Filtered 35.0 | +5.1 点 vs Vanilla，恢复率翻近一倍 |
| 代码生成：Qwen3-4B ← Qwen3-30B-A3B-Instruct-2507（六代码基准平均） | avg@k 六代码基准平均 | A2D 35.7，恢复率 32.8% | Vanilla OPD 30.2（恢复率 7.0%） | +5.5 点（APPS-Interview 21.3→31.6，CodeContests 4.8→13.9），但恢复率绝对值仍低 |
| 智能体任务：Qwen3-4B(非思考) ← Qwen3-4B-Thinking-2507（τ²-Bench Airline/Retail/Telecom） | pass1 三域平均任务成功率 | A2D 41.9，恢复率 95.2%（三域 46.3/49.4/30.0） | Vanilla OPD 40.4（90.0%）；KL-Filtered 40.9（91.7%）；Student-Gen 37.3（79.2%） | +1.5 点 vs Vanilla、+4.6 点 vs Student-Gen，仍低于教师参考 43.3 约 1.4 点 |
局限与改进
作者承认的局限：学习价值奖励是从每个问题仅一条学生回答估计的代理信号，不保证每个高分位置都带来大的学习增益；合成器只针对固定师生对优化一次，学生进步后信号可能失配；朴素迭代训练收益递减（第 2、3 轮累计仅 +0.44 点）；附录 B 明确该奖励不等价于下游损失的梯度，理论界只刻画分数覆盖而不给出参数梯度或下游改进的下界。我的补充观察：其一，强弱教师差异巨大——同一 Qwen3-4B 学生配 30B-A3B 教师恢复率仅 32.8%，远低于配 4B 教师的 82.9%，且更强教师的蒸馏平均分反而更低，论文只给出“教师基准性能不决定蒸馏效果”的描述性结论而缺乏机制解释；其二，合成阶段需对每个位置做学生+教师双模型前向评分，论文只报告下游 token 消耗（Fig 5），未报告合成器训练与 2 万题生成的端到端成本；其三，checkpoint 选择使用 AMC23 与 LiveCodeBench，这两个基准的分数并非 held-out 估计，存在选择偏差；其四，AIME/BRUMO 每个仅 30 题，虽有 3 seed 平均，小基准波动仍不可忽略；其五，验证仅覆盖数学、代码与 τ²-Bench 式智能体，弱结构域（开放写作、多模态）未检验。
独立分析的弱点
独立分析：其一，单样本奖励估计噪声大——每个问题只采一条学生回答估计式 (1) 的期望，GRPO 的组内归一难以完全消除方差，可用多条回答平均或控制变量估计降低噪声，代价是算力翻倍。其二，兼容度与 top-K（K=16）及下游候选受限更新强耦合，若下游改用熵加权、全词表或其他监督分配规则，奖励必须重新设计，作者也在附录 A.4 承认组合有效性取决于目标匹配度；改进方向是把奖励参数化地跟随下游目标，形成可插拔的“目标感知出题器”。其三，多样性控制用表面 BLEU 聚类，无法识别“措辞不同但考点同质”的问题，虽然事后有语义去重兜底，但训练期奖励仍可能被同质题占据；可在保持自包含的前提下引入轻量语义聚类或题型画像。其四，强教师场景收益骤降（32.8%/12.3%）提示问题构造无法修复师生支撑集的结构性错位，可与教师侧适配（如 PromptKD 的 teacher-side prompt tuning）联合优化。其五，迭代收益递减只给出假设性解释，未测量训练中 $\delta,\omega$ 分布的实际演化，机制证据缺失。
未来方向
作者提出的方向：随学生进步的自适应问题生成（更有效的迭代策略，而非本文中累计仅 +0.44 点的朴素重复）；把学习出题与 token 级选择/重加权方法（TIP、FiRe-OPD、Entropy-Aware OPD 等）结合，覆盖 OPD 的多条正交轴；探索奖励与不同下游蒸馏目标（不同散度、候选支撑或监督分配规则）的匹配组合。基于成果可延伸：把单步学习值评测协议（1500 题、探针集 KL 下降、偏相关控制、因子设计）推广为数据定价与课程学习的一般工具；将兼容度门控从硬 top-K 推广到概率质量阈值或软支撑集；在多教师集成或过程奖励模型训练中复用“分布诱导体”目标；研究随学生能力演化在线重校准 $\delta_{ref}$ 的课程式机制；把命题 B.1/B.2 从分数刻画推进到下游改进的理论下界；在开放式生成、工具使用等更弱结构的领域检验该框架。
复现评估
复现评估：代码、数据与模型已在 GitHub（GasolSun36/Ask_to_Distill）公开，附录给出完整伪代码（Algorithm 1）、全部关键超参（$K=16$，$L_q=4096$，$L_{max}=7168$，$\kappa=95$，$N_{cal}=200$，$\alpha=0.5$，$\lambda_{len}=0.3$，$\lambda_{div}=1.0$，聚类阈值 $\tau=0.1$，$\tau_{lex}=0.7$，$\tau_{sem}=0.95$，GRPO 8 提示×组 8=64 候选/步，lr $10^{-6}$，60 步，$N=20000$）与逐基准解码设置（Table 5），基于 verl 实现，评估用 vLLM 0.11.0、bf16、A100 80GB。算力为中等实验室规模：每个师生对需合成器训练（每步 64 题的学生作答 + 教师双模型逐位置评分）、2 万题生成与下游 OPD（学生 1.7B–7B，教师最高 30B-A3B MoE），提示模板全文给出。主要门槛是 teacher-forced 双模型评分的计算开销与多师生对组合规模；有 A100 集群与 verl 经验的团队可复现主要结论，但注意 checkpoint 选择基准（AMC23/LCB）的分数不构成 held-out 验证。
论文图表
两部分：(a) 示意图——学生初始化的合成器 $S_\theta$ 经 GRPO 奖励 $\sum_t s_t$（≈分歧×兼容度）对冻结师生对做 RL 训练；右侧说明真实问题大多激发的分歧要么很小、要么超出学生可达范围（$\delta>\tau$），KL 过滤无法区分“可教且可达”与“没什么可教”两类，而 A2D 学会命中前者；(b) 条形图——生成问题相比 DAPO-17k-Math 的回答短 20%（1,021 vs 1,280 token）而总信号多 28%（181.7 vs 141.7）。
一图同时呈现核心动机（分歧≠可教）、方法框架（冻结师生对作为打分器）与最重要的信号分析结论，是理解全文的入口。
对比一道 DAPO-17k 真实几何题（平行四边形反射求交点）与一道 A2D 合成组合题（CUBES 字母排列、元音不相邻且 B/S 不相邻）：前者表面更难，但师生 KL 均值 0.307、支持感知分数 $\bar s_t$ 仅 0.117——学生做例行程代数时教师逐 token 认同、几乎无可教分歧；后者表面简单，KL 0.513（1.7×）、$\bar s_t$ 0.172（1.5×），高分位置集中在“把 B、S 视为一块、清点物品”等结构化决策（学生把 4 个物品数成 3 个，教师在此推进纠正）。两条 rollout 中 $s_t$ 与 KL 的 Spearman ρ 分别为 0.994/0.997；合成题 rollout 更短（1,241 vs 2,002 token），累积分数 214 vs 234（保留约 91% 信号只用 62% token）。
最直观的案例分析：说明表面难度不是问题价值的指标，高价值问题在于能否在学生可达处激发教师纠正，正是“分布诱导体”视角的具象化。