好的SFT优化SFT表现，更好的SFT为强化学习做好准备

用重要性采样重加权SFT损失，弥合离线SFT与在线RL间的分布失配

前置知识

监督微调 (SFT, Supervised Fine-Tuning)

SFT是大语言模型后训练的第一阶段，使用离线收集的高质量数据对预训练模型进行有监督学习。具体做法是给定指令-回复对 $(x, y)$，通过最小化负对数似然损失来训练模型参数。SFT的数据通常由一个教师模型或人类标注员生成，因此数据分布受到这个行为策略的控制。损失函数为对所有token位置求和的负对数概率。

本文的核心论点是SFT不应孤立地优化离线表现，而应为后续的RL阶段做准备。理解SFT的基本流程和损失函数是理解PEAR方法的基础。

强化学习后训练 (RL Post-Training)

在SFT之后，模型通常会经历一个在线强化学习阶段来进一步提升推理能力。典型方法如GRPO通过让模型自己生成多个回复，根据奖励信号（如数学题的正确性验证）来优化策略。RL阶段的关键特点是模型从自身采样的轨迹中学习，策略不断更新演化。

本文发现SFT阶段的离线性能优势在RL后可能消失甚至反转，这说明RL阶段的表现才是最终目标，SFT应当为RL服务。

离策略评估 (OPE, Off-Policy Evaluation)

OPE是强化学习中的经典技术，用于评估目标策略的表现，但只有来自行为策略的离线数据可用。核心方法是通过重要性采样计算似然比来纠正分布偏移，从而将行为策略下的期望值估计转换为目标策略下的期望值。似然比是目标策略概率与行为策略概率在每个决策步上的比值之积。

PEAR方法的灵感直接来源于OPE理论，使用似然比来重加权SFT损失，纠正离线数据与目标策略之间的分布失配。

分布失配 (Distribution Mismatch)

在SFT-RL管线中，离线SFT阶段从行为策略生成的数据中学习，而在线RL阶段则从目标策略自身采样的轨迹中学习。由于两个策略的分布不同，导致存在行为-目标占用分布的不一致。在自回归生成中，早期的微小失配会在长序列中累积放大，特别是在需要隐式搜索（尝试、回溯、自我纠正）的长链推理场景中尤为严重。

这篇论文将这种分布失配定位为SFT-RL管线中的核心问题，并提出用重要性采样来纠正它。

Pass@K 指标

Pass@K是衡量语言模型推理能力的常用指标，表示在K次独立采样中至少有一次答对的概率。Pass@1是单次采样的准确率，Pass@8则衡量在8次采样中至少答对一次的概率。Pass@8更能反映模型的潜力——即使单次表现一般，多次采样后找到正确答案的能力。论文中还使用了Majority Vote和Avg@64。

论文发现Pass@1和Pass@8等离线指标无法可靠预测RL后的表现，这是论文动机的重要实验证据。

研究动机

当前推理型大语言模型的后训练流程通常遵循离线SFT后接在线RL的两阶段范式。然而，现有SFT优化方法往往孤立地追求离线阶段的性能最大化，隐含地假设离线性能的提升会自动转化为RL后的性能提升。论文通过控制实验证明这一假设是错误的：在SynLogic逻辑推理任务上，使用不同SFT目标训练的19个模型展示了离线Pass@1与在线Pass@1之间的显著排名反转。例如，对于Qwen3-1.7B-Base模型，TopLogP目标在离线Pass@1上得分最高，但经RL训练后其表现却是所有方法中最差的，甚至不如标准SFT初始化。类似地，在4B规模上也观察到离线优势消失的现象。这种排名反转的根本原因是离线SFT数据的行为策略与在线RL优化的目标策略之间存在分布失配。标准SFT对所有token施加均匀的监督，但行为策略生成的轨迹中可能包含大量在目标策略下极不可能出现的延续路径，这些死胡同路径在RL阶段几乎不会被重新访问，导致在这些路径上的SFT学习对RL毫无帮助甚至有害。

本文的目标是本文的核心目标是提出一种新的SFT训练范式，将SFT阶段的目标从孤立地优化离线性能转变为为后续RL阶段做好准备。具体而言，作者希望设计一种简单有效的重加权方法，能够在不改变基础损失函数（NLL或KL蒸馏）的情况下，通过调整每个token的损失权重来纠正离线数据与目标策略之间的分布失配。该方法应当具备以下特性：计算开销小（基于已收集的概率信息）、可作为即插即用模块附加到标准SFT目标上、在不同模型规模和架构上都能稳健地提升RL后的表现。最终验证指标是RL训练后的在线Pass@1和Pass@8在数学推理和逻辑推理任务上的表现。

与已有工作不同的是，虽然已有一些工作提出了修改SFT损失的方法（如概率变换、自适应重加权、KL正则化等），但这些方法都聚焦于提升SFT阶段本身的离线性能，而非为下游RL做准备。本文的独特切入角度是借鉴强化学习中的离策略评估（OPE）理论，将SFT-RL管线视为一个offline-to-online RL问题。在传统OPE中，使用似然比来纠正分布偏移；本文将这一思想迁移到SFT训练中，通过计算目标策略与行为策略的token级似然比来重加权SFT损失，从而让离线训练更好地反映在线RL实际会重新访问的轨迹分布。这种视角的转变——从优化SFT到为RL做准备——是本文区别于所有先前工作的根本创新。此外，论文还系统地证明了即使用代理模型近似行为策略，PEAR仍然有效，大大增强了其实用性。

核心方法

PEAR（Policy Evaluation-inspired Algorithm for Offline Learning Loss Reweighting）的核心思路非常直观：在SFT阶段，对每个token的损失施加一个权重，该权重反映了目标策略相对于行为策略认为该token所在轨迹有多可信。直觉上，如果行为策略生成了一条轨迹A到B到C，但在目标策略下这条路径的概率极低（例如目标策略在A之后更倾向于走D），那么在A位置学习这条轨迹的延续就没什么价值——RL阶段模型生成A后几乎不会走B到C。因此PEAR会降低A处的损失权重。技术上，PEAR保持底层损失函数不变（可以是标准NLL或KL蒸馏），仅通过重要性权重修改每个token损失的贡献。权重通过计算目标策略与行为策略在延续后缀上的似然比来得到，并采用数值稳定化技术（对数空间计算、裁剪）来避免长序列上的方差爆炸。

PEAR的核心创新在于一个关键的视角转换：SFT阶段的目标不应该是最大化离线准确率，而是产生一个对后续RL最有利的初始化检查点。这与所有先前工作的本质区别在于，之前的方法将SFT视为独立的优化问题，而PEAR将SFT视为整个RL管线的一部分。具体的技术创新是将OPE中的重要性采样概念引入SFT训练：不是简单地对当前token计算概率比（单步权重），而是计算从当前token到序列末尾的后缀似然比，从而捕捉未来延续是否可信这一长程信号。论文表明，单步权重（只看当前token的概率比）效果明显不如PEAR的后缀权重，因为真正决定一条轨迹对RL是否有价值的是整个后缀的兼容性，而非单个动作的选择。此外，PEAR提出了三种变体（token级、block级、序列级），其中最简单的序列级方法出乎意料地表现强劲，说明即使粗粒度的重要性权重也能有效纠正分布失配。

方法步骤详情

PEAR方法的完整流程包含三个主要步骤。第一步：计算token级对数似然比。对于离线数据集中的每个样本，其中y是由token组成的序列，计算每个位置t的对数概率比：目标策略的对数概率减去行为策略的对数概率，并裁剪到范围[-0.08, 0.3]以保证数值稳定。第二步：根据三种变体之一聚合成权重。序列级PEAR计算所有token对数比之和的指数作为整体重要性比，对所有token施加相同权重。Token级PEAR（默认形式，B=1）计算后缀权重，即从当前token到序列末尾的所有概率比之积再乘以折扣因子的幂次（gamma=0.999），通过反向扫描高效计算。Block级PEAR（block大小B）将序列划分为连续块，块内所有token共享相同权重。第三步：重加权损失并训练。最终损失函数对所有token的损失乘以对应权重后求期望，其中权重作为固定系数不参与梯度传播（stop-gradient）。此外，论文还提出了可选的负样本利用：对于验证失败的轨迹，计算序列级权重后施加梯度上升项，使模型远离不可行的轨迹。数值稳定化方面，权重在对数空间计算后裁剪到[-10, 5]。

技术新颖性

PEAR的技术新颖性体现在多个层面。首先，在概念层面，这是首次将强化学习中的离策略评估（OPE）理论系统性地应用于SFT训练的目标设计中，开创了SFT为RL服务这一新范式。此前的工作要么将SFT视为独立问题来优化，要么从稳定性角度（如信任域约束）来改进SFT，但从未从在线RL准备就绪的角度来设计离线目标。其次，在技术层面，PEAR使用后缀似然比（suffix importance ratio）而非单步概率比来计算权重，这捕捉了长程的轨迹兼容性信号。论文实验表明，单步权重的改进远不如PEAR的后缀权重，差距在多个模型规模和任务上一致出现（Table 3）。第三，在实用性层面，PEAR提出了三种粒度的变体，其中序列级PEAR仅需计算一次整体似然比即可，计算开销几乎为零；而block级PEAR通过调整块大小B来平衡粒度和稳定性。第四，论文证明了PEAR可以与KL蒸馏损失无缝结合，使用KD阶段已计算的概率信息来得到权重，几乎不增加额外开销。最后，黑盒PEAR（使用代理模型近似行为策略）的有效性进一步降低了实际应用门槛。

实验结果

论文在6个不同规模的模型上（Qwen3-Base-0.6B/1.7B/4B/8B、Qwen2.5-1.5B-Math、DeepSeek-Distill-Qwen-1.5B）进行了系统实验，覆盖数学推理和逻辑推理两大任务域。核心发现如下：第一，离线性能不能可靠预测RL后性能。在SynLogic任务上对19个模型的对比中，多个SFT目标的离线Pass@1排名与经GRPO训练后的在线Pass@1排名存在显著反转。第二，PEAR consistently提升RL后表现。在SynLogic Pass@1上，PEAR相比标准SFT初始化的提升为：Qwen3-0.6B从8.4%到13.1%（+4.7pp）、Qwen3-1.7B从13.1%到38.3%（+25.2pp）、Qwen3-4B从49.5%到59.8%（+10.3pp）、Qwen3-8B从53.3%到61.7%（+8.4pp）。第三，在数学推理上，PEAR的提升同样显著：DS-Qwen-1.5B在AIME-2025上Pass@8从5%提升到35%（+30pp），在AIME-2024上Pass@8从2%提升到38%（+36pp）。第四，PEAR的收益在跨域迁移场景下依然存在——在Enigmata任务上用PEAR初始化后在不同分布的RL任务上训练，仍能获得一致提升。第五，后缀权重（PEAR的默认形式）显著优于单步权重，表明长程兼容性信号是关键。第六，加入负样本可进一步提升性能。第七，PEAR初始化的模型在RL训练中的参数漂移（NSS指标）最小，表明PEAR确实在离线阶段完成了策略校准，让RL阶段只需微调。第八，黑盒PEAR（使用代理模型如Qwen3-32B近似行为策略）的效果接近白盒版本，验证了PEAR的实用性。论文还计算了离线与在线GRPO梯度之间的平均主角度，PEAR的主角度最小（约51.27度），表明PEAR的离线更新方向与在线RL的更新方向最为一致。

**Figure 4**: SynLogic数据集上不同初始化方法的Pass@1对比

**Figure 5**: 与重要性采样基线DFT和Proximal-SFT的数学推理对比

**Figure 6**: PEAR与DFT/PSFT在SynLogic上的对比

查看结构化数据

任务	指标	本文	基线	提升
AIME-2025 (数学推理)	Pass@8	DS-Qwen-1.5B: 35%; Qwen3-1.7B: 24%; Qwen3-4B: 35%; Qwen3-8B: 35%	SFT+GRPO: DS-Qwen-1.5B: 5%; Qwen3-1.7B: 14%; Qwen3-4B: 21%; Qwen3-8B: 35%	DS-Qwen-1.5B: +30pp; Qwen3-1.7B: +10pp; Qwen3-4B: +14pp
AIME-2024 (数学推理)	Pass@8	DS-Qwen-1.5B: 38%; Qwen3-1.7B: 23%; Qwen3-4B: 40%; Qwen3-8B: 41%	SFT+GRPO: DS-Qwen-1.5B: 2%; Qwen3-1.7B: 19%; Qwen3-4B: 25%; Qwen3-8B: 35%	DS-Qwen-1.5B: +36pp; Qwen3-1.7B: +4pp; Qwen3-4B: +15pp; Qwen3-8B: +6pp
SynLogic Pass@1 (逻辑推理)	Pass@1	Qwen3-0.6B: 13.1%; Qwen3-1.7B: 38.3%; Qwen3-4B: 59.8%; Qwen3-8B: 61.7%	SFT+GRPO: Qwen3-0.6B: 8.4%; Qwen3-1.7B: 13.1%; Qwen3-4B: 49.5%; Qwen3-8B: 53.3%	Qwen3-0.6B: +4.7pp; Qwen3-1.7B: +25.2pp; Qwen3-4B: +10.3pp; Qwen3-8B: +8.4pp
AMC-2023 (数学推理)	Pass@8	DS-Qwen-1.5B: 91%; Qwen3-4B: 88%; Qwen3-8B: 85%	SFT+GRPO: DS-Qwen-1.5B: 50%; Qwen3-4B: 83%; Qwen3-8B: 75%	DS-Qwen-1.5B: +41pp; Qwen3-4B: +5pp; Qwen3-8B: +10pp
MATH-500 (数学推理)	Pass@8	DS-Qwen-1.5B: 94%; Qwen3-4B: 93%; Qwen3-8B: 93%	SFT+GRPO: DS-Qwen-1.5B: 68%; Qwen3-4B: 93%; Qwen3-8B: 90%	DS-Qwen-1.5B: +26pp; Qwen3-8B: +3pp
数学基准平均 (Pass@1 Avg)	各benchmark Avg@64均值	1.7B: 33%; 4B: 43%; 8B: 41%	SFT+GRPO: 1.7B: 28%; 4B: 39%; 8B: 35%	1.7B: +5pp; 4B: +4pp; 8B: +6pp

局限与改进

论文在多个方面存在一定局限性。首先，实验主要集中在可验证推理任务（数学和逻辑游戏），这些任务有明确的正确答案和基于规则的验证器，对于开放式生成任务（如创意写作、对话、代码生成）的效果尚未验证。其次，PEAR需要知道行为策略的token级对数概率来计算重要性权重。虽然论文展示了使用代理模型近似行为策略的黑盒PEAR也能工作，但当SFT数据来自多个来源或完全未知的教师模型时，权重计算的准确性可能受到影响。第三，PEAR引入了额外的超参数，包括折扣因子gamma（论文设为0.999）、对数似然比的裁剪范围[-0.08, 0.3]、权重裁剪范围[-10, 5]（对数空间），以及block级变体的块大小B，这些超参数的敏感性分析不够充分。第四，序列级PEAR虽然简单有效，但对所有token施加相同权重的机制缺乏可解释性。第五，论文的RL训练主要使用GRPO，虽然附录中提到了DAPO的验证，但与更多RL算法的兼容性有待进一步探索。第六，论文使用Qwen3-8B作为行为策略来生成离线数据，当行为策略的生成质量较低时，PEAR的效果可能受限。

独立分析的弱点

本文有几个值得深入分析的弱点。第一，超参数选择的系统性不足：gamma=0.999的选择缺乏充分的消融实验支持，对于不同序列长度的任务最优折扣因子可能差异很大，建议在更广范围内进行系统网格搜索。第二，裁剪范围的设置是经验性的（[-0.08, 0.3]用于对数比、[-10, 5]用于最终权重），缺乏自适应裁剪策略，一个改进方向是根据当前batch的统计量动态调整裁剪范围。第三，论文没有充分分析PEAR对训练数据质量的敏感性——如果离线数据中包含大量低质量或错误的轨迹，PEAR可能会过度放大某些不可靠样本的影响，建议增加数据清洗或质量过滤的消融实验。第四，block级PEAR的块大小B的选择缺乏指导，论文仅在几个固定值上进行了比较，没有提供任务特性与最优块大小之间关系的分析。第五，对于token级PEAR，需要在训练前计算所有token的行为策略概率，当行为策略是大模型时这个预计算步骤的开销不可忽略。第六，论文没有分析PEAR对学习率、训练epoch数等基础超参数的交互影响，这些超参数的变化可能显著影响PEAR的效果。

未来方向

基于PEAR的成功，未来有几个值得探索的方向。首先，将PEAR扩展到更广泛的下游任务，特别是开放式生成任务（代码生成、创意写作、多轮对话），在这些场景中行为策略与目标策略的分布失配同样存在但更难量化。其次，探索自适应PEAR——学习最优的重要性权重而不是使用固定的似然比计算，可能通过引入可学习的裁剪参数或自适应折扣因子来实现。第三，将PEAR思想应用于多阶段训练管线中的其他阶段转换，例如从预训练到SFT的过渡，或者从SFT到SFT+RL到再SFT的多轮迭代场景。第四，研究PEAR与不同RL算法的交互效果，特别是PPO的裁剪机制与PEAR权重裁剪的潜在协同或冲突。第五，探索PEAR在多模态模型（如视觉-语言模型）中的应用，其中视觉理解和语言生成之间的策略失配可能更为显著。第六，从理论角度分析PEAR的收敛性质和样本复杂度，建立PEAR权重选择与下游RL性能之间的理论联系。第七，研究PEAR在持续学习场景中的效果。最后，一个自然延伸方向是将PEAR与在线RL的混合训练相结合——在训练过程中动态更新PEAR权重，使其随着目标策略的变化而自适应调整。

复现评估

论文的复现性整体较好。数据方面，SynLogic和Enigmata是公开的合成推理基准，具有确定性的规则验证器，有利于无噪声复现。数学推理数据使用SYNTHETIC-2数据集的子集（33,400条指令）和DAPO-17k数据集，这些都可以公开获取。离线数据使用Qwen3-8B生成并验证，约10万条正确轨迹。模型方面，使用了公开的Qwen3-Base系列（0.6B/1.7B/4B/8B）、Qwen2.5-1.5B-Math和DeepSeek-Distill-Qwen-1.5B，均为开源模型。训练细节方面，论文提供了足够信息：离线训练1个epoch、学习率3e-5（游戏）和1e-5（数学）、GRPO的学习率1e-6、batch size 128、KL系数0.01。PEAR的超参数也有明确说明：gamma=0.999、对数比裁剪[-0.08, 0.3]、权重裁剪[-10, 5]。然而，论文没有明确提到代码是否开源，这会影响完全复现的难度。完整复现全部实验的计算成本较高（6个模型乘以多个目标乘以多个任务乘以多次采样）。

好的SFT优化SFT表现，更好的SFT为强化学习做好准备 Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning