监督微调与强化学习的对比研究：大语言模型后训练方法综述 Supervised Fine-Tuning versus Reinforcement Learning: A Study of Post-Training Methods for Large Language Models
系统比较SFT和RL在LLM后训练中的作用、差异与融合方法
前置知识
监督微调(SFT)
SFT是一种在大语言模型预训练后，使用高质量提示-响应对进行标准语言建模目标训练的方法。其核心目标是最小化负对数似然损失，使模型学会模仿专家行为。SFT类似于传统强化学习中的行为克隆(BC)，直接从专家演示中学习，不依赖显式奖励信号，具有实现简单、训练稳定的优势，但容易受到分布偏移影响导致误差累积。具体而言，当模型在某个步骤产生偏离专家的输出后，后续步骤基于错误输入继续生成，误差会像滚雪球一样越来越大，这限制了SFT在未见问题结构上的泛化能力。缓解方法包括重要性采样、在线rollout以及与RL结合等。
本文的核心主题之一，理解SFT的工作原理和局限性是掌握LLM后训练全貌的基础，特别是理解它与RL的理论联系和实际差异。
强化学习(RL)
RL在大语言模型后训练中通过奖励信号优化模型行为，而非直接使用监督信号。模型作为策略与环境交互，目标是最大化期望奖励。经典方法包括PPO和GRPO。PPO使用学习的价值评价器，而GRPO无需评价器，使用分组相对策略优化。RL能够增强探索能力，提升泛化性能，但可能面临熵崩溃、奖励黑客等训练不稳定问题。熵崩溃指模型输出分布过于集中，失去了输出多样性；奖励黑客指模型找到获取高奖励但不符合人类意图的漏洞。这些问题需要通过熵正则化、KL约束等技术来缓解。
理解RL在LLM训练中的应用机制，包括如何通过偏好反馈、环境交互等方式获得奖励信号，以及如何平衡探索与利用。
分布偏移
在行为克隆和SFT中，当模型在训练过程中偏离专家演示的分布时会产生分布偏移，导致误差累积。具体表现为：模型在某个步骤产生偏离专家的输出后，后续步骤基于错误输入继续生成，误差会像滚雪球一样越来越大。这限制了SFT在未见问题结构上的泛化能力。例如，在数学推理任务中，如果模型第一步推理就偏离了正确路径，后续的推理步骤都会基于错误前提继续，最终得到完全错误的答案。缓解方法包括重要性采样、在线rollout以及与RL结合等，通过让模型在训练中接触自己的输出，从而减少与真实分布的差距。
这是SFT的核心局限性之一，也是论文中讨论为什么要将SFT与RL结合的关键动机。理解分布偏移有助于掌握混合训练方法的设计原理。
Chain-of-Thought(CoT)推理
CoT是一种通过逐步推理链来解决复杂问题的方法，要求模型显式输出中间推理步骤而非直接给出答案。在LLM后训练中，CoT能力通常通过SFT在由更强模型生成的推理演示上获得，或者通过RL优化最终答案正确性来间接提升推理质量。CoT对于数学、逻辑推理等任务尤其重要，能够让模型展示可解释的推理过程。例如，在解决数学应用题时，CoT会让模型先列出已知条件，然后逐步推导，最后得出答案，而不是直接跳到结果。论文中提到，SFT可以教授模型基本的CoT，但在面对新颖问题结构时往往泛化困难，而RL可以通过优化最终答案正确性来提升推理质量。
论文中的应用部分大量涉及CoT推理任务，理解CoT有助于理解SFT和RL在推理增强任务中的具体应用方式和效果。
KL散度正则化
KL散度衡量两个概率分布的差异，在RL训练中常用作正则化项，限制策略模型偏离参考模型的程度。这有助于保持训练稳定性，防止模型过度优化奖励信号而生成人类无法理解的输出。参数控制对原始分布的保留程度，如果过大则模型会过于保守，改进有限；如果过小则模型可能过度偏离参考模型，导致输出质量下降。在LLM训练中，参考模型通常是预训练的基础模型或SFT后的模型，通过KL约束确保模型在优化奖励的同时不会完全忘记原有的知识和能力。论文指出，这一正则化项是SFT和RL统一目标的重要组成部分。
统一的训练目标公式中包含KL正则化项，理解其作用有助于掌握SFT与RL的理论统一性，以及如何在实际训练中平衡性能和稳定性。
研究动机
预训练的大语言模型虽然展现出广泛的能力，但对于特定任务或领域，要在更高准确性和更可靠推理上取得突破，通常需要通过监督微调或强化学习进行后训练。然而，现有研究往往将SFT和RL视为独立的方法论，分别探索各自的技术路径，缺乏对两者内在联系的深入理解。从实际应用角度看，SFT能够教授模型基本的CoT推理，但在面对新颖问题结构时往往泛化困难；反之，基于偏好反馈的RL微调可以逐步提高正确性，但在缺乏离线演示的情况下需要大量探索。此外，当前文献主要聚焦于单一方法的专业维度，如视觉中心适应、推理进展、代理行为或扩展策略，缺乏对SFT与RL作为互补后训练工具的系统整合视角。这种割裂的研究现状限制了我们对何时选择何种方法、以及如何有效结合两者的理解。
本文的目标是本文的核心目标是提供一个全面且统一的视角来理解LLM后训练中的SFT和RL。具体而言，作者希望深入阐述这两种技术的目标、算法结构和数据需求，系统分析它们之间的相互关系，重点突出集成SFT和RL的框架、混合训练流水线，以及利用它们互补优势的方法。通过对2023年至2025年代表性应用研究的分析，识别新兴趋势，刻画快速向混合后训练范式的转变，并提炼关键见解，阐明每种方法在何种情况下最有效以及背后的原因。最终，通过综合理论见解、实践方法和实证证据，在统一框架内建立对SFT和RL的连贯理解，为可扩展、高效和可泛化的LLM后训练概述有前景的未来研究方向。
与已有工作不同的是，本文的独特切入角度在于首次系统地将SFT和RL作为互补的后训练工具进行比较和整合研究，而非将它们视为独立或仅按顺序应用的方法。与大多数分别研究SFT或RL的现有工作不同，本文特别强调了它们之间的相互作用和实际应用。与聚焦于专门维度如视觉中心适应、推理进展、代理行为或扩展策略的其他综述不同，本文提供了关于SFT和RL作为互补后训练工具的系统整合视角，特别关注它们的相互作用和实际应用。此外，本文创新性地从理论和目标函数的角度揭示了SFT可以视为RL的特例，为跨范式的方法迁移提供了理论基础，这是现有文献中尚未充分探索的视角。理论上的统一框架使得为一种方法开发的技术可以迁移到另一种方法，这是本文的重要创新点。
核心方法
本文采用了系统综述的方法，从算法中心和数据中心两个维度对SFT和RL进行了全面概述。作者首先深入研究了两种技术，分别从算法和数据角度梳理了代表性的进展，包括SFT方面的熵分布匹配、Token清洗、One-Token Rollout、FisherSFT等，以及RL方面的GRPO、REINFORCE风格更新、熵正则化方法、rollout选择、提示选择、课程学习等。然后，作者建立了SFT和RL的统一理论框架，通过推导证明SFT的目标可以视为RL目标的特例，其中指示函数作为代理奖励函数，这为跨范式的方法迁移和混合训练提供了理论基础。最后，通过分析2023-2025年期间涵盖通用问答、数学推理、代理任务和代码生成四个领域的应用研究，识别了任务重心、训练方法和数据来源的趋势变化，用定量数据支持了本文关于混合训练方法优势的论断。
本文的核心创新在于从理论和实践两个层面揭示了SFT与RL的本质联系和互补优势。理论上，作者推导证明SFT的目标梯度可以等价地表示为RL梯度的特殊形式，其中比值可以看作SFT中的代理奖励函数。基于这一洞察，大多数后训练的目标可以抽象为统一公式，这揭示了SFT和RL优化的是共同目标，为混合训练奠定了理论基础。实践上，本文首次系统梳理了混合训练的三种主要模式：利用SFT增强RL如离线策略引导和负样本强化、从RL视角改进SFT如DFT和iw-SFT，以及结合两者的混合训练如前缀采样、交替训练、加权损失组合。这种分类方式为研究人员理解和选择合适的混合策略提供了清晰的框架，是本文的重要贡献之一。
方法步骤详情
本文的研究方法分为三个主要步骤。第一步，系统概述SFT和RL：分别从算法中心和数据中心两个角度梳理代表性方法。对于SFT，算法中心包括熵分布匹配通过熵正则化缓解过拟合、Token清洗估计每个token对模型更新的贡献并移除无信息token、One-Token Rollout将每个token预测视为单步轨迹；数据中心包括FisherSFT选择最大化信息增益的训练示例、数据混合优化学习领域特定权重、自动生成上下文驱动的指令响应对。对于RL，算法中心包括GRPO用分组相对归一化优势替代价值网络、REINFORCE风格更新、熵正则化包括加权token熵和协方差和KL裁剪；数据中心包括rollout选择选择高方差或多样化示例、提示选择降低计算成本、课程学习动态选择中等难度提示。第二步，建立SFT和RL的统一框架：推导两者的目标梯度，证明SFT可以视为RL的特例，提出统一的优化目标公式，分析两种方法的互补优势和结合方式。第三步，应用分析：分析2023-2025年期间四个领域的应用研究，识别任务重心、训练方法和数据来源的趋势，通过定量数据展示向混合SFT-RL流水线的快速转变。
技术新颖性
本文的技术新颖性主要体现在三个方面。首先，理论视角的新颖性：首次从目标函数层面揭示了SFT和RL的内在联系，通过数学推导证明SFT是RL的特例，建立了统一的优化框架，这一理论洞察在现有文献中尚未被充分探索。其次，系统综述的新颖性：首次系统总结和比较SFT和RL在LLM后训练中的应用，填补了将两种方法视为互补工具而非独立范式的综述空白，特别关注了它们的相互作用和实际应用。最后，趋势分析的新颖性：通过分析2023-2025年的大量应用研究，用定量数据如研究数量增长、混合训练比例变化、数据来源转变刻画了向混合后训练范式的快速转变，这为理解领域发展提供了宏观数据支撑。与仅关注单一方法或专门维度如视觉、推理、代理、扩展的现有综述不同，本文提供了关于SFT和RL作为互补后训练工具的全面系统整合视角。这种全面和系统的视角是本文的重要贡献，填补了现有文献的空白。
实验结果
本文通过对2023-2025年期间应用研究的分析，获得了多项核心发现。从研究数量趋势看，所有调查的领域包括问答、代理、数学、代码都呈现快速增长，其中代理任务从2023年的292篇增长到2025年的约2681篇，增长超过800%，代码任务从2023年的100篇增长到2025年的约404篇，增长超过300%。从训练方法趋势看，混合SFT-RL流水线的采用率显著提升，2023年SFT占73%、RL占7%、两者结合占7%，而到2025年SFT占20%、RL占12%、两者结合占66%，显示出向混合方法的快速转变。从数据来源趋势看，从API模型标注向开源权重模型生成数据的转变持续加速，API模型比例从2023年的49%下降到2025年的约7%，开源模型比例从2023年的32%上升到2025年的约43%。从理论洞察看，SFT和RL优化共同目标，这一统一框架使得针对一种方法开发的技术可以迁移到另一种方法。从实践发现看，当有高质量的专家数据可用时，SFT通常优先作为初始训练阶段；当可靠奖励模型可以训练时，SFT后接RL的常见实践通常能达到最高报告性能；混合训练如SRFT、UFT、SRL在推理任务上表现出一致的性能提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 混合训练方法在推理任务上的性能 | 推理准确率提升 | 混合SFT-RL方法（如SRFT、UFT、SRL） | 纯SFT或纯RL | 论文引用的研究表明，混合训练方法在推理任务上相对于单一方法有显著提升，但具体提升幅度因任务和数据而异 |
| Agent任务研究数量增长 | 论文发表数量 | 2025年 | 2023年 | 从292篇增长到约2681篇，增长超过800% |
| 混合SFT-RL训练方法采用率 | 研究比例 | 2025年 | 2023年 | 从7%增长到66% |
| 开源模型生成数据比例 | 数据来源比例 | 2025年 | 2023年 | 从32%增长到43% |
| FisherSFT数据效率 | 数据使用效率 | FisherSFT | 标准SFT | 通过信息论原则实现数据高效学习，在有限数据下实现高效训练 |
| GRPO训练稳定性 | 训练复杂度降低 | GRPO | PPO | 通过用分组相对归一化优势替代价值网络简化训练，提高了训练稳定性 |
局限与改进
本文作者承认了一些局限性。由于该领域进展迅速和新兴文献的庞大数量，本文可能遗漏SFT和RL研究的一些最新进展。在应用部分，采用论文过滤策略可能引入近似偏差，因为常用基准并不完全包含所有真实世界的场景或方法论。此外，作者在附录B.2中提供了应用近似局限性的额外讨论，但并未详细展开。从研究方法角度看，本文作为综述性工作，主要依赖于对现有文献的梳理和分析，缺乏独立的实证研究或实验验证，这意味着本文的结论在一定程度上依赖于所引用研究的质量和一致性。从理论角度看，虽然建立了SFT和RL的统一框架，但这一框架的适用边界和潜在限制仍需进一步探索，特别是在不同任务类型和不同规模模型上的普适性有待验证。从实践角度看，本文虽然系统梳理了混合训练方法，但缺乏对具体实现细节和超参数设置的深入讨论，这可能限制研究人员直接应用这些方法的便利性。这些局限性是综述性工作的共同挑战，但读者应该意识到这些限制。
独立分析的弱点
从独立分析角度看，本文存在几个可以改进的弱点。首先，理论框架的实证验证不足：虽然建立了SFT和RL的统一理论框架，证明了SFT可以视为RL的特例，但缺乏实证研究来验证这一理论洞察在不同任务和模型规模上的实际效果。改进方向：可以设计对照实验，比较统一框架下不同方法的性能，验证理论预测。其次，混合训练方法缺乏系统比较：虽然梳理了多种混合训练方法如SRFT、UFT、SRL、前缀采样等，但缺乏这些方法之间的系统比较，不清楚在什么情况下哪种混合策略最优。改进方向：可以设计大规模实验，在不同任务和数据条件下比较各种混合训练方法的效果。再次，趋势分析缺乏因果解释：虽然观察到向混合SFT-RL训练的转变，但缺乏对这一趋势背后驱动因素的深入分析。改进方向：可以通过访谈领域专家、分析技术文档等方式，探索推动这一转变的实践因素。最后，应用领域覆盖有限：虽然涵盖四个主要应用领域，但可能遗漏其他重要领域如多模态、医疗、法律等。改进方向：可以在后续工作中扩展到更多应用领域，特别是那些有独特后训练挑战的领域。
未来方向
作者提出了两个未来方向和开放问题，但可以进一步扩展。首先，样本和计算高效方法：当前的SFT和RL流水线通常需要大量计算资源、大量高质量数据和广泛rollout生成，引发实际和环境关注。虽然早期进展包括基于信息论原则的数据高效SFT和减少计算的量化感知方法，但对于RL，选择性或部分rollout才刚刚开始探索。未来研究需要开发广泛适用、高效的方法。改进方向：探索更激进的数据和计算优化技术，如动态rollout选择、增量训练、模型压缩等。其次，稀疏或间接奖励信号下的SFT和RL：许多真实世界任务缺乏明确定义或易于验证的奖励信号。用户反馈可能是稀疏、不一致或昂贵的。在安全关键设置中，获得地面真实评估可能完全不可行。近期工作开始探索通过口头或其他间接反馈进行对齐。改进方向：识别和利用额外的自然但未充分利用的隐式监督源，如自我评估信号或用户流失行为，以引导低反馈环境中的SFT和RL。此外，基于本文的发现，还可以提出更多未来方向：混合训练方法的理论深化、自动化训练策略选择、跨领域泛化研究、可解释性和可控性增强等。这些方向将推动LLM后训练方法的进一步发展。
复现评估
从复现评估角度看，本文作为综述性论文，复现情况相对良好但存在一些限制。开源情况：论文作为arXiv预印本提供，包含完整的参考文献列表，但未明确提及代码或数据仓库的可用性。数据可用性：本文主要依赖于公开文献，所有引用的论文都可以通过arXiv或学术数据库访问，这使得读者可以追踪原始研究以验证本文的论断。算力要求：由于本文是综述而非实证研究，复现本文不需要大规模算力，读者只需要能够访问和处理文献的能力。难度评估：复现本文的主要挑战在于需要阅读和理解大量原始文献超过150篇引用，这可能需要领域专业知识和大量时间。对于实践者而言，如果想应用本文中讨论的方法，需要查阅原始论文以获取具体的实现细节、超参数设置和数据集信息，这可能增加应用难度。总体而言，本文的复现性对于学术验证是良好的，但对于实际应用可能需要额外的工作量。改进建议：作者可以考虑提供本文分析的论文列表的结构化摘要、关键方法的代码片段示例、或者一个在线资源库，汇总讨论的方法的实现链接和数据集信息，这将大大提高论文的实用价值和可复现性。
论文图表
这张图展示了一个关于大语言模型后训练对齐方法的分类体系，按照三个主要类别组织：SFT和RL内部的算法中心与数据中心方法、整合SFT和RL目标的比较统一和混合框架、代表性的下游应用领域包括推理、数学、代理行为和代码相关任务。图中用不同的颜色和布局清晰地区分了这三个类别，并在每个类别下列出了代表性的工作引用。具体而言，算法中心的SFT包括Li et al. 2024c、Pang et al. 2025等，数据中心的SFT包括Zhou et al. 2023、Deb et al. 2025a等；算法中心的RL包括Li et al. 2023、Shao et al. 2024等，数据中心的RL包括Zhang et al. 2025a、Xu et al. 2025c等；整合框架包括统一目标、用SFT增强RL、用RL增强SFT、结合SFT和RL等方法；应用领域包括通用QA任务、数学任务、代理任务、代码任务等。
这张图对理解论文至关重要，因为它提供了全文的结构框架，帮助读者快速把握论文的组织方式和主要内容。它清晰地展示了SFT和RL的方法论分类、两者之间的关系以及它们的应用领域，为后续的详细讨论提供了导航。特别是，它强调了SFT和RL的互补性和整合方法，这是本文的核心主题。