选择多样化SFT轨迹提升强化学习后的泛化能力

用规则指纹筛选推理路径多样的SFT数据，显著提升RL后的泛化覆盖率

前置知识

SFT（监督微调）

在已验证正确的解法轨迹（如数学题的完整推理过程）上对语言模型做监督训练，让它模仿高质量解题步骤。推理模型的典型后训练流程是先做轻量 SFT 冷启动，让模型具备基本格式和解题模式，再用强化学习继续提升。

本文的核心论点是：SFT 阶段选哪些已验证解法进入训练集，会在训练结束很久之后继续影响模型，直接决定后续 RL 能达到的覆盖率上限。

RLVR / GRPO（可验证奖励的组相对强化学习）

用程序化验证器自动判定答案对错并给二值奖励的强化学习范式。GRPO 对每道题采样一组 rollout，用组内相对表现计算优势：组内结果全对或全错时组相对优势为零、不产生梯度，只有混合结果（有对有错）的组才提供学习信号。

论文的机制解释完全建立在这套逻辑上：路由多样的 SFT 让正确解在更多题目上进入采样可达范围，从而产生更多混合结果组、给 RL 更多可学的信号。

pass@k

覆盖率指标：对每道题独立采样 $k$ 次，只要至少一次答对即算该题通过，统计通过题目占比。$k$ 越大越接近衡量“模型有能力解出”而非“每次都稳定解出”，与 pass@1 这类平均准确率形成互补。

论文的主要结果几乎全部用 pass@8、pass@32、pass@64 等覆盖率汇报，理解它与准确率的区别才能读懂“多解出哪些题”这一核心结论。

路由与路由多样性（route diversity）

一条路由是某个已验证解法从题目到答案的推理步骤序列（如数学中的分情况讨论、Sokoban 中的棋盘移动）；路由多样性刻画保留解法在步骤构成、顺序与结构上的差异程度，包括同一题目不同解法之间的差异。

这是论文定义并贯穿全文的研究对象：在固定预算下最大化保留数据的路由多样性，就是本文方法区别于按质量、长度、指令覆盖做选择的根本所在。

指纹 $\phi(y)$ 与最远点采样

指纹是用固定规则把每条解法的步骤序列编码成的定长向量，包含步骤事件频率、出现位置、序列形状与相邻转移，再经固定随机投影降维，只需读文本、无需模型调用。最远点采样则在向量空间中迭代加入距已选点最远的候选，构造在空间中铺开的 coreset；对应地，最近质心选择聚集在一个稠密区域。

它们是可扩展选择器的全部技术基础：论文用最远点采样从同一池子构造 Diverse 集、用最近质心构造 Similar 集形成严格对照。

研究动机

现代推理模型的标配流程是先在已验证解法上做 SFT，再在模型自己的尝试上做可验证奖励的强化学习（RLVR，如 DeepSeek-AI、Kimi、OLMo 等系统）。由于 RL 是从 SFT 产出的策略分布中采样，初始分布决定了在有限 rollout 预算内 RL 能发现哪些成功尝试；已有研究警告过重的 SFT 会限制后续学习与泛化。实际管线验证的解法远多于 SFT 预算能容纳的量，必须做子集选择，但现有选择标准——可读性、长度、奖励分数、每题配额、指令覆盖、单条轨迹质量——没有一个直接刻画“保留的解法是否提供了不同的推理方式”：两条都正确的解法可能通过完全不同的分解、探索与检查路径到达同一答案。同时 Kang et al. 与 Li et al. 表明 SFT 准确率本身并不是 RL 就绪度的可靠指标，因此“哪一部分已验证解法最能帮模型准备好 RL”是一个悬而未决的实际问题。

本文的目标是论文的研究问题非常聚焦：在固定 SFT 演示数量预算下，从同一个候选池中选取推理路线更多样的解法，能否提升 RL 之后的问题覆盖率（即固定采样次数下至少解出一次的题目比例），以及由此得到的初始策略与“相似路线”策略有何本质区别。在此之外，作者还要给出一个工程上可用的选择方法：不调用任何模型、不生成新数据、不需要梯度，纯文本规则即可在 CPU 上处理超过两百万条解法的候选池，并能直接套用在 OpenThoughts3、INTELLECT-3、Nemotron-Cascade 2 等已发布的开源推理语料上，与随机、梯度多样性、嵌入、词法等更昂贵的选择基线全面比较。

与已有工作不同的是，先前最接近的证据是“教师数量”这一粗代理：固定演示预算下多教师 SFT 能提升 RL 后覆盖（Chen et al.、Stojanovski et al.、Zeng et al.）；Yuan et al. 通过为每题增加不同正确解法提升推理能力；Ju et al. 把固定演示预算分配给发散解法并在 RL 后保持优势，但其方法要对每条候选解法调用一次语言模型，在百万级池子上成本不可行。也就是说，此前没有人给出一种只读文本、规则化、可在 CPU 上扩展的直接度量推理路线差异的方法。本文的切入角度是“推理拓扑”：剥离措辞、格式和教师身份后，把每条解法抽象为步骤事件序列，再用指纹 $\phi(y)$ 近似其程序性差异，让多样性首次成为可在工业规模候选池上以近零成本直接优化的选择准则。

核心方法

直觉上，把推理看作在“步骤序列空间”中的搜索：SFT 见过的搜索模式越丰富，RL 开始时正确尝试就越可能在更多题目上落入采样可达范围，从而产生更多混合结果组、提供更多组相对学习信号。技术路线分四步：首先把每条已验证解法 $y$ 程序化解析为推理步骤事件序列（如 parse、infer、check、branch、answer），有领域标注用标注、否则用固定规则从文本打标签；其次把序列编码为定长指纹 $\phi(y)$，涵盖事件频率、位置、形状统计与转移，并用固定随机投影缩短向量；第三，在指纹空间中聚类并按簇大小分配预算，簇内反复加入距已选点最远的候选（coreset 构造）得到多样集 $D_{div}$，用最近质心选出一个稠密区域得到相似集 $D_{sim}$；第四，两个数据集规模完全相同，在严格配平的协议下训练与评估——同一学生模型（Qwen3 base、OLMo3-7B）、同一候选池、同一 SFT 预算、同一 GRPO 配方、在同一 RL 步数读取结果，评测统一用采样覆盖率 pass@k。

核心创新是把“推理路线的拓扑差异”变成可计算、可选择的准则。与已有工作的本质区别有三点：其一，传统选择看可读性、长度、奖励分、指令覆盖或单条质量，无法区分“两种解法是否用不同方式推理”；其二，最接近的 Ju et al. 需要对每条候选调用语言模型判断解法是否发散，在两百万级池子上不可行，而本文指纹只需固定规则标注步骤加一次随机投影，纯文本、免模型调用、免梯度；其三，本文不改变训练目标或数据量，只在同一池子、同一预算下改变“保留哪些解法”，从而干净地隔离了多样性这一变量。配套的机制解释也是新的：用 RL 前的混合奖励组占比诊断（54.7% 对 46.9%）说明多样性改善的是组相对 RL 可用的学习信号分布，而非平均准确率。

方法步骤详情

完整流程如下。第一步，解析：输入为候选池中每条通过验证器检查的解法 $y$，输出步骤事件序列（数学用 case split/infer/check 等词表，Sokoban 用棋盘移动，程序模拟用状态重写；无标注域用固定规则从文本打标签）。第二步，指纹：统计事件频率、出现位置、序列形状与相邻转移，经固定随机投影得到定长向量 $\phi(y)$，全程 CPU。第三步，多样集：对全部指纹聚类，每簇按规模比例分配选择配额，簇内迭代加入与已选集合距离最远的候选（coreset 构造）。第四步，相似集：在指纹空间选最近质心周围的一个稠密区域。第五步，训练：两个同规模数据集分别 SFT（RLVE 上难度 1–5），再用同一 GRPO 配方做 RL（难度至 10）。第六步，评估：在同一 RL 步数评测，覆盖难度至 15 的外推题与 63 个 SFT-Seen、321 个 SFT-Unseen 环境，报 pass@8/32/64；单模型条件由 Qwen3-4B-Thinking-2507 独写全部候选，同样流程在 10k/25k/50k 三个预算重复。

技术新颖性

技术新颖性主要体现在三个层面。效率层面：梯度多样性与嵌入基线要把每条候选过一遍 7B 或 8B 模型，需 64 到 232 GPU 小时，而本文选择器对约 210 万条解法只需单 CPU 节点约 3 小时、零 GPU，相对增益却高达 1.2%–10.8% 且在所有比较中获胜。概念层面：此前“多样性”要么靠教师数量这类粗代理，要么靠逐条调用 LLM 的昂贵判断，本文首次给出规则化的拓扑指纹定义，把多样性变成可在工业池子上直接优化的量。实证设计层面：教师数量扫描（第 2 节）与同池同预算的路线直接选择（第 3 节）互为印证，单模型条件进一步排除多教师混杂；预诊断实验把覆盖率优势归因到混合结果组占比这一组相对 RL 的信号量上，使方法不止是经验观察而有机制支撑。

实验结果

教师扫描（第 2 节）：Qwen3-4B 上 12 教师 SFT 比单教师在持出 Enigmata 高约 18 点 pass@64；池 16→399 在固定教师数下最多 +6.4 点、12 教师时不足半点，说明多样性而非题量是主因；RL 转数学后 MATH-500 pass@1 从 34.14% 升至 65.08%，56 个基准-池-预算单元赢 54 个。RLVE 直接路线选择：OLMo3-7B 在 SFT 未见环境 pass@8 +16.9 点、各难度带领先，保留 Similar 解集 95.67% 并多解 1,133 题（反向仅 53），属解集扩张而非置换；Qwen3 两规模、50k/200k 预算全指标领先。单模型条件（Qwen3-4B-Thinking-2507 独写候选）：10 个数学基准平均 pass@8 在 10k/25k/50k 预算分别 +3.4/+6.2/+5.5 点。机制诊断：RL 前 64 题各采 8 次，Diverse 混合结果占 54.7%、Similar 46.9%、基座 51.6%，平均解题率反略低；RL 后正确补全 bigram Jaccard 距离高 16.68%（4B）与 15.13%（1.7B）。真实语料：OpenThoughts3、INTELLECT-3、Nemotron-Cascade 2 上全比较击败随机/拓扑/梯度/嵌入/词法基线，相对增益 1.2%–10.8%（RL 步 64）；对 Similar 数学全基准领先 4.9–18.5 点，OMEGA 三划分与 GPQA-Diamond 亦领先；成本约 3 CPU 小时对 64–232 GPU 小时。

**Table 7**: 附录表：RLVE 评估集划分与各实验配置（固定持出集的环境与难度、难度划分、Seen/Unseen 环境数及 SFT/RL/评测范围）

**Figure 1**: OLMo3-7B on RLVE after the same RL. Diverse (purple circles) solves more problems than Similar (orange open squares) on environments seen and unseen in SFT and in every difficulty band.

**Figure 5**: Answer diversity of correct Qwen3 completions on RLVE after the same RL.

**Figure 6**: OLMo3-7B reward-signal diagnostics before RL.

**Figure 7**: One-teacher route selection. Orange tops: Similar; stack tops: Diverse.

**Figure 8**: Relative gain of our selection over each selection baseline in mean score, with both conditions evaluated at the final RL checkpoint, step 64.

查看结构化数据

任务	指标	本文	基线	提升
RLVE 谜题，OLMo3-7B，SFT 未见环境	pass@8 覆盖率	Diverse 路线选择	Similar 路线选择（同池同预算同 RL）	+16.9 个百分点
RLVE，OLMo3-7B，8 次采样解出集合	独有解出题目数	Diverse 保留 Similar 解集的 95.67%，另多解 1,133 题	Similar 仅多解 53 题	净增 1,080 题
10 个竞赛数学基准，Qwen3-4B 单教师条件	平均 pass@8	Diverse：10k/25k/50k 预算分别 +3.4/+6.2/+5.5	Similar（同一候选池）	+3.39 至 +6.17 个百分点
MATH-500，Qwen3-4B，16 环境池	pass@1	12 教师 SFT：65.08%	1 教师 SFT：34.14%	+30.94 个百分点
Enigmata 持出谜题，Qwen3-4B	pass@64	12 教师	1 教师	约 +18 个百分点
OpenThoughts3 / INTELLECT-3 / Nemotron-Cascade 2	平均分相对增益（pass@1 与 pass@8）	本文 CPU-only 选择器，全部比较获胜	随机 / 拓扑 / 梯度多样性 / 嵌入 / 词法	1.2%–10.8%
三大开源语料的数学基准	平均准确率	Diverse 在全部数学基准领先	Similar（同池同预算）	+4.9 至 +18.5 个百分点
RL 前诊断，64 道数学提示各采 8 次	混合结果提示占比	Diverse：54.7%	Similar：46.9%（SFT 前基座 51.6%）	+7.8 个百分点

局限与改进

作者承认的局限包括：主结果为单次运行（Figure 1 标注 Single runs），未提供误差棒，RL 本身方差较大；覆盖差距随采样预算先增后减，并在两种策略接近饱和时收窄，差距峰值出现在中等难度带（Qwen3-4B 在 RLVE 的中等难度、OLMo3-7B 在最易档、最小模型在 OMEGA），说明结论依赖难度与容量的匹配；指纹距离主要近似程序差异，但也会受措辞影响；机制解释绑定在组相对算法与二值结果奖励上（混合组才有优势）。我自己的观察还有：步骤词表按领域手工定制（数学、Sokoban、程序模拟各一套），推广到长尾领域需要重新设计规则；实验集中在数学与谜题，代码生成、智能体、多模态任务未验证；簇数、投影维度等选择超参的敏感性在正文未见消融；作为对照的 Similar 集由最近质心构造，与真实管线常按长度或奖励分筛选的做法不同，差距估计可能因此偏乐观。

独立分析的弱点

独立分析本文的弱点：第一，指纹依赖按领域手工设计的步骤词表（数学、Sokoban、程序模拟各一套），面对工具调用轨迹、多模态推理等长尾领域需要重新工程化，改进方向是自动发现步骤边界或训练一个仍可在 CPU 运行的小型步骤标注器。第二，主结果为单次运行且无误差棒，16.9 个百分点的差距虽大，但 RL 训练方差不小，改进方向是多种子重复或报告跨 RL 步数的性能区间。第三，机制论证绑定 GRPO 类组相对算法与二值结果奖励；对 PPO、过程奖励模型或非对称奖励的流程，“混合组提供信号”的逻辑需要重新推导，改进方向是在其他 RL 目标下复验。第四，Similar 对照是最近质心构造的理想化产物，真实管线常用长度、格式或奖励分筛选，改进方向是加入工业界常用筛选作为第三对照以校准差距。第五，覆盖差距对难度带和模型容量敏感（在中等难度最大、饱和区收窄），实践者若目标难度与模型能力错配，收益会缩水，改进方向是按难度自适应分配各簇预算。

未来方向

作者在正文与附录 H 指出的方向包括：与作用于 RL 阶段的互补方法结合——零方差组过滤或重塑（Le et al.、Yu et al.）、rollout 多样性维持（Chen et al.、Hu et al.）、按奖励方差与可学性选 prompt（Jiang et al.、Wu et al.），以及把选择器作为真实管线处理已发布语料的默认组件。基于本文成果可以进一步延伸：把指纹与选择用于 RL 阶段的 prompt 分组和课程排序，而不只用于 SFT 数据；研究路由多样性与模型容量的交互（论文中 1.7B、4B、7B 的差距随难度带的分布模式不同）；探索可学习的投影替代固定随机投影，把选择目标显式优化；扩展到代码、智能体与多模态推理轨迹；以及为附录 F 的示意模型建立更严格的理论，刻画多样性、采样预算与覆盖率峰值之间的关系。

复现评估

复现评估：选择器本身复现门槛很低——纯规则文本处理加固定随机投影，无需 GPU，对约 210 万条解法在单 CPU 节点约 3 小时完成，笔记本即可运行；所用语料（OpenThoughts3、INTELLECT-3、Nemotron-Cascade 2、RLVE、Dolci-Think、OMEGA、Enigmata）与模型（OLMo3-7B、Qwen3 base 与 Thinking 系列）均公开。完整复现全部实验则仍需可观算力：OLMo3-7B 与 Qwen3 学生模型的多组 SFT 加 GRPO 训练对照，个人研究者难以完整负担，适合复现的重点是指纹构造、选择流程与 CPU-only 基线比较。主要不确定性在于各领域步骤词表的具体实现与 RL 训练配方细节（附录 A/C），且摘要未见明确声明代码开源；附录 H 的完整局限讨论也未随正文提供。总体难度评级为中等：方法部分可低门槛复现，端到端实验需要机构级 GPU 资源。

选择多样化SFT轨迹提升强化学习后的泛化能力 Selecting Diverse SFT Traces Improves Post-RL Generalization