哪些推理轨迹能教会学生更好地推理？一种信息对齐的简洁度量 Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment
提出 RSR 指标衡量推理轨迹与学生模型的适配度，在蒸馏中同时捕获信息量与对齐性
前置知识
链式思维蒸馏 (Chain-of-Thought Distillation)
链式思维（CoT）蒸馏是一种将大型教师模型的推理过程迁移到小型学生模型的技术。教师模型生成详细的推理轨迹（trajectory），即包含中间推理步骤的长文本，学生模型通过监督微调（SFT）学习这些轨迹。这种方法的核心假设是：学生不仅能学到最终答案，还能学到推理的思维过程。例如，一个 671B 参数的 DeepSeek-R1 模型生成的推理轨迹，可以用来训练一个 4B 参数的小模型。蒸馏的关键在于选择合适的训练数据——并非所有教师轨迹都对学生有效。
本文研究的核心问题就是如何选择最适合特定学生模型的推理轨迹，因此理解 CoT 蒸馏的基本流程是理解本文动机和方法的前提。
惊奇度 (Surprisal / Negative Log-Likelihood)
惊奇度是衡量语言模型对某个 token 惊讶程度的指标，定义为该 token 的负对数概率：$\text{Surprisal}(t_k) = -\log p_\theta(t_k | c_k)$，其中 $c_k = (t_1, \ldots, t_{k-1})$ 是前文上下文，$\theta$ 是学生模型参数。惊奇度越高，说明模型对这个 token 越'意外'，该 token 携带的增量信息量越大。例如，如果模型给某个 token 分配概率 0.01，其惊奇度约为 4.6；如果概率为 0.5，惊奇度仅约 0.69。已有工作通常用平均惊奇度或局部惊奇度来评估数据适配性，认为低惊奇度的轨迹更适合学生模型。
惊奇度是本文 RSR 指标的分母，理解惊奇度对于理解 RSR 如何衡量轨迹的信息量至关重要。已有方法仅用惊奇度选数据，本文指出其局限性。
Token 排名 (Token Rank)
Token 排名是指在模型对整个词汇表 $\mathcal{V}$ 的预测分布中，当前 token 的概率排序位置。形式化定义为 $\text{Rank}(t_k) = 1 + \sum_{t' \in \mathcal{V}} \mathbb{I}[p_\theta(t' | c_k) > p_\theta(t_k | c_k)]$，即排名等于概率严格高于当前 token 的候选 token 数量加一。排名越低（数值越小），说明该 token 在模型的预测分布中越靠前。与惊奇度不同，排名捕获的是相对熟悉度：一个 token 可能绝对概率很低（高惊奇度），但在所有候选中仍然排名靠前，说明模型'认识'这个 token。
Token 排名是 RSR 指标的分子，与惊奇度形成互补信号。理解排名如何捕获'相对熟悉度'是理解 RSR 核心创新点的关键。
最近发展区 (Zone of Proximal Development)
最近发展区是心理学家维果茨基提出的经典教育理论概念，指学习者当前能力水平与在适当指导下能达到的水平之间的差距。在本文的语境中，这一概念被类比到 LLM 蒸馏：对学生模型来说，最有价值的训练数据不是完全熟悉的（类似学生已掌握的内容），也不是完全陌生的（超出学生理解能力），而是处于'最近发展区'内的数据——既有一定的新信息，又在学生现有认知框架的范围内。
这一心理学概念是本文核心洞察的理论直觉来源，帮助理解为什么 RSR 要同时考虑'绝对陌生度'（惊奇度）和'相对熟悉度'（排名），而不是只看其中一个维度。
Spearman 相关系数 (Spearman Correlation)
Spearman 秩相关系数是一种非参数统计指标，衡量两个变量之间单调关系的强度和方向。与皮尔逊相关系数不同，Spearman 系数不要求线性关系，只关注变量的排名顺序是否一致。取值范围为 [-1, 1]，其中 1 表示完全正单调相关，-1 表示完全负单调相关，0 表示无单调关系。本文使用 Spearman 系数来衡量数据适配度量指标与训练后推理性能之间的关联强度。
Spearman 相关系数是本文评估 RSR 有效性的核心统计指标，理解其含义才能理解'平均 Spearman 0.86'这一关键结果的意义。
研究动机
在推理能力蒸馏中，一个令人困惑的现象反复出现：更强的教师模型并不一定能教出更好的学生。本文通过大规模实验系统性地验证了这一点——作者使用 11 个教师模型（参数量从 4B 到 671B）和 5 个学生模型进行全配对实验（共 55 对），发现 671B 参数的 DeepSeek-R1 和 235B 参数的 Qwen-3-235B-Thinking 在多个学生模型上的表现不如更小的 QwQ-32B（32B）。例如，对于 LLaMA-3.1-8B 学生，DeepSeek-R1 仅得 28.1 分，而 QwQ-32B 达到 27.1 分，差距不大；但对于 Qwen-2.5-7B 学生，DeepSeek-R1 得 47.3 分，QwQ-32B 却达到 52.0 分。更令人惊讶的是，Qwen-3-4B-Thinking（仅 4B 参数）在 Qwen-2.5-3B 学生上的表现为 33.3 分，甚至超过了 DeepSeek-R1 的 29.6 分。这些数据表明，教师的参数规模和推理能力都不能可靠预测学生的表现提升，数据与学生之间的适配性（suitability）才是关键因素。
本文的目标是本文的具体目标是提出一个简洁、可计算、可解释的度量指标，用于在蒸馏之前预测特定推理轨迹对特定学生模型的有效性。现有的评估方法主要依赖学生的概率分配（如平均惊奇度），倾向于选择与学生当前行为高度一致的轨迹，但这些轨迹往往信息量不足。作者希望找到一种能同时捕获'信息量'和'对齐性'的指标，使其在实际的轨迹选择和教师选择场景中具有实用价值。具体来说，该指标需要满足以下要求：（1）只需单次前向传播即可计算，无需额外的验证器或测试数据；（2）与训练后推理性能有强相关性；（3）在轨迹选择（从多个候选中为每个问题选最优轨迹）和教师选择（从多个候选教师中选最合适的教师）两个场景中都能有效工作。
与已有工作不同的是，现有方法在评估数据适配性时存在根本性的盲区。概率类指标（如 Avg-Surprisal、Avg-Surplocal）只关注绝对概率，倾向于选择高概率（低惊奇度）的轨迹，即与学生当前行为高度一致的数据。但正如本文实验所示，这类数据虽然'熟悉'，却往往缺乏新信息，无法有效提升学生的推理能力。相反，那些具有一定'陌生度'的轨迹（中等惊奇度）往往包含更有价值的推理模式。本文的独特切入角度是：同时考虑绝对陌生度（惊奇度）和相对熟悉度（Token 排名），将两者结合为一个简洁的比值指标。这一思路源自一个关键洞察——有效的推理轨迹应该让学生模型的 token 处于'低绝对概率但高相对排名'的状态，这意味着轨迹偏离了学生的主导生成模式（有信息量），但仍与学生的整体预测分布兼容（可对齐）。这与教育心理学中的'最近发展区'概念相呼应。
核心方法
本文方法的核心直觉可以用一个类比来理解：假设一个学生习惯用某种固定思路解数学题（主导模式），老师给出的最有效的示范不应该是学生已经会的做法（太熟悉），也不应该是完全超出学生理解范围的做法（太陌生），而应该是学生'似曾相识但没想到'的做法——学生能理解这种思路，但它不是学生自己会首先想到的。技术上，作者通过两个互补信号来量化这种'信息性对齐'：惊奇度（Surprisal）衡量绝对陌生度——轨迹 token 与学生自身生成模式的偏离程度；Token 排名（Rank）衡量相对熟悉度——即使绝对概率低，该 token 在学生预测分布中的相对位置是否靠前。最终将两者结合为 Rank-Surprisal Ratio（RSR）：轨迹的平均 token 排名除以平均 token 惊奇度。RSR 越低，说明轨迹既具有足够的信息量（高惊奇度分母），又与学生的生成模式保持兼容（低排名分子），是更适合该学生的训练数据。
RSR 的核心创新在于将两个看似矛盾的目标——信息量（需要轨迹偏离学生已有行为）和对齐性（需要轨迹与学生预测分布兼容）——统一到一个简洁的比值中。与已有方法的本质区别在于：（1）仅用惊奇度的方法（如 Avg-Surprisal）偏好低惊奇度数据，忽视了信息量；（2）仅用排名的方法（如 Avg-Rank）虽然捕获了相对熟悉度，但没有与信息量建立直接联系；（3）梯度类方法（如 G-Norm、GRACE）计算成本高且结果不稳定。RSR 的关键洞察是：有效的推理轨迹应该让学生模型的 token 呈现'低绝对概率、高相对排名'的模式。从模拟实验可以看到，当学生模型的预测分布呈现双峰结构（主模式 $Z_A$ 和次模式 $Z_B$）时，来自次模式 $Z_B$ 的轨迹（记为 $X_B$）具有高惊奇度（2.73）但较低的平均排名（4.31），其 RSRtoken 为 1.30，是所有类型轨迹中最低的。而来自主模式的轨迹 $X_A$ 虽然排名更低（2.49），但惊奇度也低（1.38），RSRtoken 反而更高（1.69）。这一模拟结果直接验证了 RSR 能有效识别处于'最近发展区'的训练数据。
方法步骤详情
RSR 的计算分为以下步骤：（1）对于给定的教师推理轨迹 $x = (t_1, t_2, \ldots, t_n)$ 和学生模型 $\theta$，对每个响应 token $t_k$ 计算其惊奇度 $\text{Surprisal}(t_k) = -\log p_\theta(t_k | c_k)$，其中 $c_k$ 是前文上下文。（2）对每个 token 计算其在学生模型预测分布中的排名 $\text{Rank}(t_k) = 1 + \sum_{t' \in \mathcal{V}} \mathbb{I}[p_\theta(t' | c_k) > p_\theta(t_k | c_k)]$，即概率严格高于当前 token 的候选数量加一。（3）对排名值进行裁剪，设置阈值 $r_{max} = 100$，将超过此阈值的排名值截断为 $r_{max}$，以避免极端不熟悉 token 导致的数值不稳定。（4）计算轨迹级别的 RSR：$\text{RSR}(x) = \frac{\sum_k \min(\text{Rank}(t_k), r_{max})}{\sum_k \text{Surprisal}(t_k)}$。这个公式等价于惊奇度加权的平均 token 级 RSR 比值（通过数学推导得到），避免了直接平均时因除以近零惊奇度而导致的数值不稳定问题。整个计算只需单次前向传播，无需额外的验证器或测试数据。在数据集级别，采用类似的加权平均方案来聚合多条轨迹的 RSR 值。
技术新颖性
RSR 的技术新颖性体现在多个层面。首先，从概念层面，本文首次将'绝对陌生度'和'相对熟悉度'这对互补概念引入推理蒸馏的数据选择中，而此前的工作要么只关注概率（绝对信号），要么只关注排名（相对信号），从未将两者系统性地结合。其次，从方法层面，RSR 的推导过程本身具有启发性——作者从 token 级的简单比值 $\text{RSR}_{token}(t_k) = \text{Rank}(t_k) / \text{Surprisal}(t_k)$ 出发，发现直接平均会导致数值不稳定（因除以近零惊奇度），进而引入惊奇度加权平均，数学推导表明这等价于轨迹级的排名总和除以惊奇度总和，形式简洁且稳定。第三，从实验设计层面，本文进行了迄今最全面的推理蒸馏配对研究（5 学生 × 11 教师 = 55 对），系统性地揭示了'强教师不一定出好学生'的现象，并在此基础上提出了有针对性的解决方案。第四，从实用层面，RSR 的计算仅需单次前向传播，且实验表明仅用 200 条轨迹即可获得可靠的评估结果，这使得 RSR 在资源受限的实际场景中具有很高的实用价值。
实验结果
本文的实验结果可以分为三个层面。第一，在相关性分析方面，RSR 与训练后推理性能的 Spearman 相关系数在所有 5 个学生模型上均表现出色：Qwen-3-14B 为 0.85，LLaMA-3.1-8B 为 0.85，Qwen-2.5-7B 为 0.92，Qwen-3-4B 为 0.82，Qwen-2.5-3B 为 0.85，平均达到 0.86。相比之下，仅用惊奇度的 Avg-Surprisal 平均相关性仅 0.49，仅用排名的 Avg-Rank 为 0.59，梯度方法 G-Norm 为 0.55，GRACE 为 0.59，影响力分数（Influence Score）更是低至 0.11。第二，在轨迹选择实验中（33 选 1 设置，即每个问题从 11 个教师各 3 条轨迹中选 1 条），RSR 选择的数据集在所有学生模型上均优于其他方法。以 Qwen-3-14B 为例，RSR 在 AIME'24 上达到 67.5（随机选择为 59.2），AIME'25 上达到 59.2（随机为 46.7），AMC'23 上达到 93.1（随机为 86.2），MATH500 上达到 94.6（随机为 88.6），平均 78.6 分，甚至超过了任何单一教师的最佳表现（77.4）。第三，在教师选择实验中（仅用每教师 200 条轨迹评估），RSR 选出的最佳教师平均得分为 48.3，接近 Oracle 的 48.7，而基于教师参数量的方法仅得 45.7。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 轨迹选择后学生推理性能（Qwen-3-14B） | 平均 Acc@4（AIME'24, AIME'25, AMC'23, MATH500） | 78.6 | 随机选择 70.2, Surprisal 73.4, Rule-based Quality 72.3, LLM-judged Quality 73.4, G-Norm 72.7 | 相对随机选择提升 8.4 个百分点，相对最佳基线（LLM-judged Quality）提升 5.2 个百分点 |
| RSR 与训练后性能的 Spearman 相关性 | Spearman 相关系数（5 个学生模型平均） | 0.86 | Avg-Surprisal 0.49, Avg-Surplocal 0.51, Avg-Rank 0.59, G-Norm 0.55, GRACE 0.59, Influence Score 0.11 | 相比次优方法（Avg-Rank/GRACE）提升 0.27，相对提升 46% |
| 教师选择（低资源设置，每教师 200 条轨迹） | Top-1 选出教师的平均推理性能 | 48.3 | Teacher Params 45.7, Rule-based Quality 47.2, LLM-judged Quality 46.3, Surprisal 45.6, GRACE 45.6 | 接近 Oracle 教师 48.7，相对次优基线（Rule-based Quality）提升 1.1 个百分点 |
| 轨迹选择后学生推理性能（Qwen-2.5-3B） | 平均 Acc@4 | 34.8 | 随机选择 27.9, Surprisal 28.9, Rule-based Quality 31.2, LLM-judged Quality 32.8, G-Norm 30.9 | 相对随机选择提升 6.9 个百分点，相对最佳基线（LLM-judged Quality）提升 2.0 个百分点 |
局限与改进
作者在论文中坦诚地指出了若干局限性。首先，RSR 的效果受限于候选轨迹或教师模型的多样性和质量——如果所有候选教师轨迹都不适合某个学生，仅靠选择也无法带来显著提升，作者建议未来可以用 RSR 指导轨迹的改写或合成。其次，虽然 RSR 形式简洁且可解释，但作者尚未找到合适的理论框架来从更深层次解释其有效性，这需要进一步的理论研究。第三，受资源限制，实验主要集中在数学推理任务上，虽然补充了 GPQA 评估，但尚未系统性地验证 RSR 在代码推理、常识推理等其他领域的有效性。此外，本文还有一些我自己观察到的局限：（1）RSR 需要对学生模型进行前向传播来计算，这意味着在选择数据前必须有学生模型的访问权限，对于黑盒 API 模型可能不适用；（2）$r_{max}$ 参数虽然在实验中设为 100 表现良好，但其最优值可能因模型和任务而异，缺乏自适应机制；（3）实验中每个问题选择一条轨迹，未考虑同一问题多条轨迹的组合效应。
独立分析的弱点
尽管 RSR 表现出色，但仍有一些值得改进的地方。第一，RSR 是一个事后评估指标，需要对学生模型进行完整的前向传播，计算成本与推理一条轨迹相当。在大规模数据筛选场景中（例如从数十万条候选轨迹中筛选），这可能成为瓶颈。改进方向可以是开发基于模型嵌入或轻量代理模型的快速近似版本。第二，RSR 的双峰分布假设（主模式 $Z_A$ 和次模式 $Z_B$）在模拟实验中被验证有效，但真实模型的预测分布可能更加复杂，多峰或连续分布的情况下 RSR 的理论保证尚不清楚。第三，RSR 在轨迹选择中的效果已经很好，但在 subset selection（跨问题选择）场景中，不同问题的 RSR 值可能不具可比性，因为不同问题本身的难度和惊奇度分布差异很大，这限制了 RSR 的跨问题泛化能力。
未来方向
作者提出了几个有前景的未来研究方向。首先是将 RSR 从推理数据扩展到通用文本数据——RSR 的核心思想（低绝对概率、高相对排名）并不局限于 CoT 轨迹，理论上可以应用于任何序列到序列的蒸馏场景。其次是 subset selection，即从包含不同问题及其轨迹的数据集中选择高质量子集，这比轨迹选择更具挑战性，因为需要跨问题比较 RSR 值。作者提供了初步实验证据表明 RSR 在此场景下仍可能有效。此外，基于本文成果还可以延伸出以下方向：（1）用 RSR 指导轨迹的主动合成或改写，而非仅从固定候选池中选择；（2）探索 RSR 与强化学习的结合，例如将 RSR 作为奖励信号来引导教师生成更适合学生的轨迹；（3）研究 RSR 在多轮对话、代码生成等非数学推理领域的表现；（4）开发理论框架来解释 RSR 为何有效，可能与信息论或学习理论中的某些概念建立联系。
复现评估
本文的复现条件较为友好。作者在论文中声明代码和数据已开源（https://github.com/UmeanNever/RankSurprisalRatio）。实验涉及 11 个教师模型和 5 个学生模型，其中大部分为公开可用的开源模型（如 Qwen 系列、LLaMA-3.1、DeepSeek-R1、Phi-4 等），但 GPT-OSS 系列模型可能需要特定访问权限。数据方面使用了 5000 个数学问题的训练集，以及 AIME'25、AIME'24、AMC'23、MATH500 四个标准评测基准。计算资源方面，RSR 本身的计算仅需单次前向传播，但完整的蒸馏实验（55 对教师-学生组合，每对 3 次独立运行）需要大量 GPU 资源。好消息是，消融实验表明仅用 200 条轨迹即可获得可靠的 RSR 评估结果，这大大降低了资源门槛。总体而言，RSR 的核心计算逻辑简单（排名/惊奇度），实现难度低，复现可行性高。
论文图表
