面向LLM推理的强化学习感知知识蒸馏 Reinforcement-aware Knowledge Distillation for LLM Reasoning
提出RLAD框架，通过信任区域比率蒸馏将教师指导嵌入GRPO更新，实现选择性模仿
前置知识
Group Relative Policy Optimization (GRPO)
GRPO是DeepSeek提出的一种强化学习算法，专为训练LLM的推理能力设计。其核心思想是对每个提示采样一组响应（通常8个），然后利用组内奖励的均值和标准差计算归一化优势（advantage），再通过重要性采样比率$r^{GRPO}_{i,t}(\theta_S) = \frac{\pi_{\theta_S}(y^{(i)}_t | x, y^{(i)}_{<t})}{\pi_{\theta_S,old}(y^{(i)}_t | x, y^{(i)}_{<t})}$来更新策略。GRPO采用PPO风格的裁剪机制，将比率限制在$[1-\epsilon, 1+\epsilon]$范围内，确保策略更新稳定。
RLAD是在GRPO基础上进行改进的，理解GRPO的重要性采样比率、裁剪机制和优势计算方式是理解TRRD如何嵌入教师信息的前提
知识蒸馏 (Knowledge Distillation, KD)
知识蒸馏是一种模型压缩技术，通过让小模型（学生）学习大模型（教师）的输出分布来转移知识。在LLM领域，主要包括离线蒸馏（在教师生成的轨迹上做SFT）、离线策略蒸馏（在固定数据集上匹配教师-学生分布）和在线策略蒸馏（在学生生成的轨迹上计算教师-学生散度）三种范式。DeepSeek-R1的蒸馏就是典型的离线蒸馏流程。
本文指出传统KD方法（尤其是显式KL正则化）在RL训练中会导致目标冲突，理解这些方法的局限性是理解RLAD创新点的基础
KL散度 (Kullback-Leibler Divergence)
KL散度衡量两个概率分布之间的差异程度。在知识蒸馏中，反向KL散度$KL(\pi_{\theta_S}||\pi_{\theta_T}) = \mathbb{E}_{y_t \sim \pi_{\theta_S}}[\log \pi_{\theta_S}(y_t|x, y_{<t}) - \log \pi_{\theta_T}(y_t|x, y_{<t})]$常用于约束学生分布接近教师分布。在RL训练中，KL散度也用作正则化项防止策略偏离参考策略过远。
KDRL方法直接用教师替换KL正则化中的参考策略，导致KL项与奖励最大化目标竞争，这是RLAD要解决的核心问题之一
信任区域策略优化 (Trust Region Policy Optimization, TRPO)
TRPO是一种策略梯度方法，通过约束新旧策略之间的KL散度不超过某个阈值来确保策略更新稳定。其核心思想是：策略更新应该在一个'信任区域'内进行，避免过大的策略变化导致性能崩溃。PPO通过裁剪机制简化了TRPO的实现。
RLAD的TRRD借鉴了信任区域思想，将教师-旧策略混合分布作为新的信任区域中心，这是技术方法的核心
Pass@K 和 Mean@K 指标
Pass@K衡量模型在K次采样中至少有一次答对的概率，反映模型的探索能力和成功率上限。Mean@K是K次采样结果的平均准确率，更反映模型最可能行为的质量。RL通常对Pass@1提升更大（改善模型最可能的行为），而Pass@K的提升更多来自模仿教师的多样解法。
论文通过分析KDRL和RLAD在Pass@1和Pass@32上的不同表现模式，论证了RLAD更注重奖励驱动的策略改进而非纯模仿
研究动机
当前LLM推理能力的提升主要依赖强化学习后训练（如DeepSeek-R1、Kimi），但这些模型推理时计算成本高昂，需要蒸馏到更小的学生模型。然而，现有的知识蒸馏方法主要是为监督微调（SFT）设计的，直接应用到RL训练中会遇到两个核心问题：第一，RL训练过程中策略不断更新，rollout分布随时间漂移，静态的蒸馏目标变得次优且不稳定；第二，当使用显式KL正则化（如KDRL方法）将教师策略引入GRPO时，KL项$KL(\pi_{\theta_S}||\pi_{\theta_T})$会与奖励最大化目标竞争，导致性能对损失权重$\lambda$敏感，需要精细的超参数调节。此外，学生生成的轨迹可能落在教师的低概率区域，削弱监督信号的有效性。常见的简化方案是先用RL训练强教师，再在教师生成的轨迹上做离线SFT蒸馏（如DeepSeek-R1蒸馏），但这种方法不对学生进行RL优化，也无法提供适应学生策略演变的教师指导。
本文的目标是本文提出一种新的蒸馏框架——RL感知蒸馏（RLAD），目标是将教师指导无缝整合到RL后训练过程中，实现以下具体目标：第一，在RL训练中动态平衡探索（exploration）、利用（exploitation）和模仿（imitation）；第二，确保教师指导只在对当前策略更新有益时才被激活，避免教师-学生不匹配导致的性能退化；第三，在不增加过多计算开销的前提下（目标控制在12%左右的训练延迟），在逻辑推理和数学推理任务上超越现有方法。具体指标上，论文希望在最难的子集（如K&K Logistics的PPL7/PPL8、AIME24/25的Pass@32）上取得显著提升。
与已有工作不同的是，本文的独特视角在于：将教师指导从'静态正则化项'转变为'自适应的策略更新锚点'。现有方法（如KDRL）将教师信息作为独立的KL惩罚项添加到目标函数中，教师影响是均匀的、无条件的，包括在教师行为与奖励信号不一致的区域。RLAD抓住了一个被忽视的关键点：教师指导应该是'有条件的'——只有当模仿教师有助于改善当前策略更新（即与优势信号一致）时，才鼓励学生跟随教师。这一视角借鉴了PPO/GRPO的优势加权机制，将教师信息嵌入重要性采样比率本身，而非作为外部约束。用论文的类比来说，KDRL像是给学生一个'始终遵守的教师规则'，而RLAD则是'只在教师说对的时候才听'。
核心方法
RLAD的核心思想可以用一个直觉来理解：在传统GRPO中，策略更新由'当前策略与旧策略的比率'和'优势信号'共同决定；RLAD的做法是将这个比率的锚点从'旧学生策略'扩展为'旧学生策略与教师策略的混合分布'。这就像把导航系统的目标点从固定的旧位置，改为旧位置和教师推荐位置的加权平均——当教师的建议与你当前要去的方向一致时（优势为正），你可以更自信地跟随教师；当教师的建议方向不对时（优势为负），你会自动减少对教师的依赖。技术上，RLAD通过Trust Region Ratio Distillation（TRRD）实现这一思想，将GRPO的重要性采样比率$r^{GRPO}$和教师参考比率$r^T$进行$\alpha$权重组合，再应用PPO风格的裁剪机制，形成一个统一的、优势感知的、信任区域约束的更新目标。
RLAD最本质的创新是Trust Region Ratio Distillation（TRRD），它将教师信息从'独立的KL正则化项'转变为'重要性采样比率的组成部分'。具体来说，对于第$i$个响应的第$t$个token，TRRD定义新的比率：$r^{TRRD}_{i,t}(\theta_S) = \left(\frac{\pi_{\theta_S}(y^{(i)}_t|x, y^{(i)}_{ 0$时，如果教师也给当前token高概率（教师同意），混合锚点$r^{\pi_{mix}}$变大，比率$r^{TRRD}$增长更慢，裁剪阈值更晚达到，允许更大的概率增加——这就是'选择性模仿'的数学实现。反之，当教师不同意时，更新被自动限制。当优势接近零时，教师影响消失，避免了无信息区域的干扰。
方法步骤详情
RLAD方法包含以下关键步骤：（1）准备阶段：设定学生模型$\pi_{\theta_S}$、教师模型$\pi_{\theta_T}$、旧学生策略$\pi_{\theta_S,old}$，确定混合系数$\alpha$（论文默认0.5）和裁剪阈值$\epsilon$。（2）采样阶段：对学生模型采样一组响应$\{y^{(i)}\}_{i=1}^G$，计算每个响应的奖励$r^{(i)}$。（3）计算混合锚点：定义$r^{\pi_{mix}}(y_t|x, y_{<t}) = (\pi_{\theta_S,old})^\alpha (\pi_{\theta_T})^{1-\alpha}$，将旧学生和教师概率进行几何加权。（4）计算TRRD比率：对学生策略、旧学生策略、教师策略分别计算对数概率，组合成$r^{TRRD}_{i,t}(\theta_S)$。（5）裁剪与更新：应用GRPO风格裁剪$Clip(r^{TRRD}_{i,t}, 1-\epsilon, 1+\epsilon)$，与归一化优势$b_{A_{i,t}} = \frac{r^{(i)} - \mu(x)}{\sigma(x)}$相乘，求和后减去$\beta KL(\pi_{\theta_S}||\pi_{\theta_{ref}})$得到最终目标$J_{RLAD}(\theta_S)$。（6）梯度更新：计算梯度并更新学生参数。论文还提到对$\log(\pi_{\theta_S}/\pi_{\theta_T})$进行裁剪到$[-1,1]$以稳定训练，防止早期师生不匹配导致的极端梯度。
技术新颖性
RLAD的技术新颖性体现在三个层面：第一，概念层面：首次提出'选择性模仿'（selective imitation）原则，即教师指导应该只在对当前RL更新有益时才被激活，而非作为无条件约束。这与KDRL的'始终模仿教师'形成鲜明对比。第二，技术层面：设计了TRRD比率，将教师信息嵌入重要性采样比率，使得教师影响被同一套优势加权和裁剪机制所控制。数学上，TRRD可以解释为优化一个奖励增强的目标$\max_{\theta_S} \mathbb{E}[R(x,y)] - \alpha KL(\pi_{\theta_S}||\pi_{\theta_S,old}) - (1-\alpha)KL(\pi_{\theta_S}||\pi_{\theta_T})$，但与直接优化这个目标不同，TRRD通过裁剪机制隐式地实现了加权，且权重由优势信号动态决定。第三，理论层面：论文揭示了TRRD在$\alpha=1$时退化为标准GRPO，在$\alpha \to 0$时接近DPO风格的偏好优化（以教师为参考），实现了RL和偏好学习的平滑插值。
实验结果
RLAD在逻辑推理和数学推理两类任务上均展现出一致且显著的性能提升。在K&K Logistics逻辑推理任务上（表1），使用Qwen3-8B作为教师，RLAD将Qwen3-0.6B在8K上下文下的平均准确率从0.76（GRPO）提升至0.94，提升18个百分点；Qwen3-1.7B从0.95提升至0.99。在2K上下文的受限设置下，提升同样显著：Qwen3-0.6B从0.70到0.90，Qwen3-1.7B从0.86到0.93。特别是在最难的PPL8子集上，RLAD的优势尤为突出——Qwen3-0.6B在8K下从0.63（GRPO）/0.75（KDRL）提升到0.83，Qwen3-1.7B从0.81/0.88提升到0.98。在长上下文数学推理任务上（表2），RLAD同样表现优异：对于Qwen3-1.7B-Base在30K上下文下，平均性能从36.5（GRPO）提升至39.0，提升2.5分；Qwen3-8B-Base从61.0提升至66.5，提升5.5分。AIME25-Pass@32的提升最为惊人：Qwen3-8B-Base从48.5提升至66.4（+17.9分）。对于已后训练的模型（表3），在8K响应预算下，RLAD将Qwen3-1.7B的Avg从51.2提升至57.8，Qwen2.5-1.5B-DS从54.2提升至56.7。一个关键观察是：KDRL倾向于在Pass@32上产生更大的相对提升（表明其改善主要来自模仿教师的多种解法），而RLAD在Pass@1上提升更明显（表明其更忠实于奖励驱动的策略改进），且训练动态更稳定（图2）。在效率方面（表9），RLAD仅引入约12%的额外训练延迟（667.4秒 vs GRPO的491.2秒），因为教师仅用于计算学生rollout的对数概率，而非生成额外轨迹。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| K&K Logistics (逻辑推理, 8K上下文) | 平均准确率 | 0.94 (Qwen3-0.6B), 0.99 (Qwen3-1.7B) | GRPO: 0.76/0.95, KDRL: 0.92/0.96 | +18%/+4% vs GRPO, +2%/+3% vs KDRL |
| K&K Logistics (逻辑推理, PPL8最难子集, 8K) | 准确率 | 0.83 (0.6B), 0.98 (1.7B) | GRPO: 0.63/0.81, KDRL: 0.75/0.88 | +20%/+17% vs GRPO, +8%/+10% vs KDRL |
| 长上下文数学推理 (Qwen3-8B-Base, 30K) | Avg (9个指标平均) | 66.5 | GRPO: 61.0, KDRL: 64.9, SFT: 56.0 | +5.5 vs GRPO, +1.6 vs KDRL |
| AIME25-Pass@32 (Qwen3-8B-Base, 30K) | Pass@32 | 66.4 | GRPO: 48.5, KDRL: 65.2 | +17.9 vs GRPO, +1.2 vs KDRL |
| AIME24-Pass@32 (Qwen3-8B-Base, 30K) | Pass@32 | 85.4 | GRPO: 77.8, KDRL: 86.1 | +7.6 vs GRPO, -0.7 vs KDRL |
| 后训练模型数学推理 (Qwen3-1.7B, 8K) | Avg | 57.8 | GRPO: 51.2, KDRL: 55.1 | +6.6 vs GRPO, +2.7 vs KDRL |
局限与改进
论文承认的主要局限是：RLAD依赖教师模型的对数概率（logits），这要求教师是开源的且校准良好的模型。对于闭源教师（如GPT-4、Claude等），无法直接获取token级概率分布，限制了TRRD的应用范围。此外，论文观察到在简单任务（如MATH500）上，RLAD的提升相对较小（如Qwen3-8B-Base从68.2仅提升到68.6），这可能是因为简单任务已接近饱和或受模型容量限制。从实验设置看，所有实验使用Qwen系列模型，未验证在其他架构（如Llama、Mistral）上的泛化性。弱教师实验（表5-6）显示，当教师比学生弱时（Qwen3-0.6B教师对Qwen3-1.7B学生），RLAD表现接近GRPO但不会退化，但论文未讨论教师质量的下界在哪里。训练效率方面，虽然仅增加12%延迟，但这假设教师与学生共置在同一节点，远程教师服务会增加通信开销。
独立分析的弱点
从独立分析的角度，RLAD存在以下几个值得改进的弱点：第一，混合系数$\alpha$虽然是固定的0.5且论文声称不敏感，但在不同任务阶段可能需要不同的探索-模仿平衡——训练初期师生差距大时可能需要更多模仿，后期学生成熟时可能需要更多自主探索。一个动态$\alpha$调度策略（如随训练步数从低到高变化）可能进一步提升性能。第二，TRRD的裁剪机制是基于token级的，但推理任务的质量往往由整个推理链决定，token级裁剪可能导致局部最优而非全局最优。可以考虑引入序列级或段落级的信任区域约束。第三，教师信息仅通过概率比率被使用，忽略了教师推理过程中的结构化知识（如推理步骤的层次、关键推理点）。结合教师的推理链（chain-of-thought）作为额外监督信号可能更有效。第四，论文未探讨多教师蒸馏的可能性——当有多个不同能力的教师时，如何自适应选择或组合它们的指导。
未来方向
基于论文成果，可以延伸以下几个研究方向：第一，将TRRD扩展到闭源教师场景——可以通过教师的输出文本（而非logits）来近似教师策略，或使用代理模型（proxy model）来估计教师概率分布。第二，探索RLAD在更广泛任务上的应用，如代码生成、多轮对话、工具使用等需要复杂推理的场景。第三，研究TRRD与课程学习（curriculum learning）的结合——根据任务难度动态调整$\alpha$和教师指导强度。第四，将选择性模仿的思想扩展到多智能体场景，其中不同智能体可以互为教师和学生。第五，探索TRRD在在线持续学习中的应用，解决灾难性遗忘问题。作者在结论中提到将TRRD扩展到闭源教师是重要未来方向。
复现评估
论文提供了相对充分的复现信息：实验基于公开的Qwen3系列模型（0.6B/1.7B/8B/32B），使用Skywork-OR1训练集（105K样本）和K&K Logistics数据集，这些都是可获取的。训练超参数详细列出（学习率$1 \times 10^{-6}$、批大小256、微批大小16/32、GRPO裁剪阈值0.20-0.28、$\alpha=0.5$）。代码未在论文中明确提及是否开源，但方法描述足够详细（公式3-5完整给出），复现难度中等。算力需求较高：逻辑推理使用8张H200 GPU，数学推理使用64张H200 GPU，训练最多5个epoch。对于资源有限的研究者，可以先在小规模设置（如Qwen3-0.6B学生+Qwen3-8B教师，2K上下文）上验证核心思想。评估使用vLLM进行推理，温度0.6，top-p 0.95，32次采样计算Pass@32/Mean@32。
论文图表
报告了GRPO、KDRL和RLAD在Qwen3-8B-Base+Qwen3-32B配置下的训练延迟，RLAD仅比GRPO多12%的训练时间。
证明了RLAD的实用性——额外的教师logits计算开销很小，因为教师仅用于计算概率而非生成轨迹。