论后训练中监督微调与强化学习的不可解耦性 On the Non-decoupling of Supervised Fine-tuning and Reinforcement Learning in Post-training
证明SFT和RL在后训练中相互耦合，顺序执行必然导致一方退化
前置知识
监督微调（SFT）
监督微调是大语言模型后训练的第一阶段，通过高质量的标注数据（输入-输出对）对预训练模型进行针对性训练。其核心目标是最小化模型输出与专家标注之间的交叉熵损失，形式为对所有标注样本的负对数似然求和。SFT擅长让模型记住特定任务的输入-输出映射，但在分布外泛化能力上存在局限。SFT数据通常由人工构造的指令-回复对组成，训练过程中模型逐token优化条件概率。
本文的核心论点是SFT与RL相互耦合，理解SFT的损失函数和优化目标是理解全篇理论推导的基础
强化学习（RLHF/RLVR）
强化学习是后训练的另一关键阶段，通过奖励信号引导模型优化策略。RLHF使用人类偏好训练的奖励模型，RLVR则使用可验证的规则反馈（如数学正确性验证）。其优化目标为期望奖励减去KL散度正则项，其中KL散度防止模型偏离参考策略过远。常用算法包括PPO和GRPO。RL的闭式最优解表明，最优策略是参考策略按奖励指数加权的变形。
论文的核心贡献是证明RL阶段会破坏SFT阶段的学习成果，反之亦然，必须理解RL的优化机制才能理解耦合的来源
Polyak-Lojasiewicz (PL) 条件
PL条件是一种弱于强凸性但强于凸性的优化条件，要求梯度范数的平方的二分之一不小于函数值与全局最小值之差乘以常数mu。该条件不要求函数是凸的，且已知在过参数化的神经网络中成立。PL条件保证了梯度不会在非最优点消失，从而确保梯度下降的收敛性。它是二次增长条件的一种推广。
本文的关键理论结果（如SFT损失的二次下界）依赖PL条件假设，这是推导损失退化具体量化形式的核心工具
KL散度与全变分距离
KL散度衡量两个概率分布之间的差异，是不对称且非负的。它定义为两个分布对数比的期望值。全变分距离是L1范数的一半，是对称的距离度量。两者通过Pinsker不等式关联：全变分距离不超过KL散度一半的平方根。这些不等式在证明中用于将奖励差异转化为分布差异。
论文利用KL散度和TV距离建立SFT/RL阶段的分布偏移界限，是证明RL-then-SFT退化定理的关键工具
梯度对齐与谱集中
梯度对齐通过余弦相似度衡量两个优化方向的一致性，取值范围为-1到1。谱集中假设两个梯度在参数空间的正交基中分别集中在不同的低维子空间上：SFT梯度集中在方向集合S上，RL梯度集中在方向集合R上，且S和R的交集远小于它们的并集。这在高维参数空间中是合理的，因为不同目标往往激活不同的参数子空间。
论文证明SFT和RL梯度近似正交，这从几何视角解释了为什么两者无法解耦——它们在参数空间的不同子空间上操作
研究动机
在大语言模型的后训练实践中，监督微调（SFT）和强化学习（RL）通常被交替使用来提升模型性能。DeepSeek-R1交替使用SFT和RL两次来提升DeepSeek-V3-Base的推理能力；最新的后训练方案在多阶段SFT之上应用级联的领域RL。然而，这些阶段之间的交互关系缺乏理论理解。实验中观察到从SFT过渡到RL时经常发生灾难性遗忘现象，RL放大了已有行为而非引入新能力。Liu等人发现更强的SFT模型在大规模RL训练后表现更好，但Chen等人在视觉语言模型中发现SFT和RL之间不存在协同效应。这些相互矛盾的经验结果表明，我们对两个阶段如何相互影响缺乏清晰的理论认识。更关键的问题是：RL是否真正改善了先前SFT的性能？SFT是否改善了先前RL的性能？两个阶段能否被解耦而互不影响？
本文的目标是本文旨在从理论角度严格证明SFT和RL在后训练中的耦合关系。具体目标包括：第一，证明SFT-then-RL管线中RL必然导致SFT损失上升；第二，证明RL-then-SFT管线中SFT必然导致RL奖励下降；第三，在PL条件等假设下推导出退化程度的具体量化形式；第四，分析最优RL训练时长、梯度对齐性质和非解耦阈值；第五，通过实验验证理论预测。最终目标是为实践者提供理论指导，帮助他们理解SFT和RL作为联合优化问题而非可分离模块来处理。
与已有工作不同的是，本文的独特切入角度在于将SFT和RL的关系建模为两个序列优化操作的可交换性问题。现有工作主要从经验角度观察SFT和RL的交互（如灾难性遗忘、能力退化等），但缺乏严格的数学分析。本文首次使用分布分析（基于KL散度和TV距离）和景观分析（基于PL条件）两种互补的理论工具，系统地证明了两种顺序下的非解耦性质。特别是，通过分析梯度对齐的谱集中性质，从参数空间的几何视角揭示了耦合的根本机制。这种理论视角使得本文能够精确推导出最优RL停止时间和非解耦阈值等具有实践指导意义的具体结果。
核心方法
本文的理论分析框架围绕两个基本管线展开：SFT-then-RL（先微调后强化）和RL-then-SFT（先强化后微调）。直觉上，SFT教模型记住特定的输入-输出映射，而RL教模型追求奖励最大化，这两个目标在参数空间中倾向于推动模型走向不同的方向。技术路线分为三个层次：首先，通过分布层面的分析（KL散度和TV不等式）建立退化的存在性，证明退化量非负；其次，通过景观层面的分析（PL条件）建立退化的量化下界，证明退化量随参数位移呈二次增长；最后，通过梯度几何分析（谱集中假设）揭示耦合的内在机制，并推导出具有实践指导意义的最优停止时间和对齐阈值。整个分析的核心观察是：RL的最优解相对于参考策略的偏移程度由奖励函数和温度参数决定，这种偏移必然改变模型对SFT数据的拟合质量。
本文的核心创新在于证明SFT损失的退化与参数位移之间存在二次关系，而RL奖励的改善与参数位移之间至多是线性关系。这一二次-线性权衡是论文最重要的洞察。具体而言，在SFT-then-RL管线中，当模型已经收敛到SFT最优解时，PL条件保证SFT损失的增加量与参数位移的平方成正比。而RL奖励的改善可以近似为线性增长。这种不对称性意味着存在一个最优RL时长，超过这个时长后SFT退化的累积将超过RL的收益。论文推导出最优RL时长为T* = lambda / (mu_SFT * eta * g_RL_bar)，其中lambda是权衡权重，mu_SFT是PL常数，eta是学习率，g_RL_bar是平均RL梯度范数。与现有工作的本质区别在于：以往的工作将SFT和RL视为可独立优化的阶段，而本文证明它们在数学上不可解耦。
方法步骤详情
本文的分析方法可分为以下步骤：第一步，建立问题形式化框架。将后训练管线建模为两个序贯优化操作，定义SFT损失函数为负对数似然，RL奖励函数为期望奖励减去KL散度正则项，并引入三个关键假设：提示分布一致性假设（SFT和RL的输入来自同一分布）、奖励有界性假设（奖励绝对值不超过R_max）、PL条件假设。第二步，分析SFT-then-RL管线。利用RL最优解的闭式表达，代入SFT损失表达式，得到SFT损失的增加量C_1(beta)，并由Jensen不等式证明其非负性。第三步，在PL条件下建立二次下界，推导最优RL时长和梯度对齐界限。关键公式：SFT退化量不小于(mu_SFT/2)乘以参数位移的平方。第四步，分析RL-then-SFT管线，利用KL增长条件和TV不等式证明奖励退化，退化量至少为a乘以lambda(B)，其中a是KL下界。第五步，通过Qwen3-0.6B模型在CoLA数据集上的实验验证理论预测。
技术新颖性
本文的技术新颖性体现在多个方面。第一，首次严格证明了SFT和RL的不可解耦性，这在理论上填补了后训练管线分析的空白。第二，建立了二次退化-线性收益的权衡关系，这一洞察具有重要的实践意义——它暗示过长的RL训练不仅无效而且有害。第三，通过谱集中假设分析梯度对齐，将SFT和RL的耦合机制与参数空间的几何结构联系起来，证明当SFT和RL梯度占据不相交的低维子空间时，余弦相似度上界由交集大小与并集大小的比值决定。第四，推导出非解耦阈值tau_crit，精确定量了RL改善SFT性能的临界条件：当奖励-SFT对齐系数alpha_RS大于tau_crit时，RL才能改善SFT损失。第五，理论框架的通用性——结果不依赖于特定的模型架构或训练算法，仅需PL条件和有界奖励等弱假设。
实验结果
本文的实验在Qwen3-0.6B模型上使用CoLA（Corpus of Linguistic Acceptability）数据集进行验证。CoLA数据集包含10,657个英语句子，标注为语法正确或不正确。SFT阶段训练2个完整epoch，RL阶段使用GRPO算法，奖励函数对正确答案返回+1，错误答案返回-1。SFT-then-RL实验的关键发现：当RL开始时，SFT测试集上的交叉熵损失急剧上升，最终超过原始基础模型的损失值，这与定理3.1的预测完全一致。RL-then-SFT实验的关键发现：SFT开始后奖励立即崩溃，基础模型在鲁棒评估下的mean@1约为0.385（约69.5%准确率），而经过RL再SFT后的最终检查点mean@1降至约0.343（约67.2%准确率），甚至低于基础模型。这些实验结果有力地验证了两个核心定理：RL会增加SFT损失（即使模型已收敛到SFT最优解），SFT会降低RL奖励（即使RL已经达到较高性能）。两对相反方向的退化共同证明了SFT和RL无法在不损失先前性能的情况下被分离。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 句子语法可接受性分类（CoLA） | 交叉熵损失（SFT-then-RL管线） | RL阶段后SFT损失超过基础模型水平 | SFT收敛后的损失水平 | 证明了RL导致SFT损失增加，符合定理3.1预测的C_1(beta)>=0 |
| 句子语法可接受性分类（CoLA） | mean@1奖励（RL-then-SFT管线） | 最终SFT检查点mean@1约0.343（67.2%准确率） | 基础模型mean@1约0.385（69.5%准确率） | 证明了SFT导致RL奖励下降，最终低于基础模型，符合定理4.1 |
局限与改进
本文存在以下几个局限性。首先，实验仅在Qwen3-0.6B（6亿参数的小模型）上进行，且任务局限于CoLA语法可接受性分类任务（二分类），结果能否推广到更大的模型（如7B、70B级别）和更复杂的任务（如推理、代码生成）尚不确定。其次，理论分析依赖PL条件假设，虽然该条件在过参数化网络中被证明成立，但对于实际的LLM训练场景是否普遍满足需要更多验证。第三，论文将RL简化为具有闭式解的KL正则化策略优化问题，忽略了实际PPO/GRPO训练中的各种技巧（如裁剪、基线估计、课程学习等）。第四，奖励函数被假设有界且固定，但实际应用中奖励模型本身也在训练中演化。第五，论文未考虑混合策略，如同时优化SFT和RL目标（多任务学习）或梯度手术等替代方案的实际效果。最后，实验规模较小，CoLA数据集仅约1万条样本，与实际大模型训练动辄数十万到数百万样本的规模相差甚远。
独立分析的弱点
本文的第一个弱点是实验规模和多样性不足。Qwen3-0.6B是目前最小的开源模型之一，而实际的后训练通常在7B到70B甚至更大规模的模型上进行。不同规模的模型可能表现出不同的耦合特性，因为大模型的过参数化程度更高，PL常数可能更小，从而改变最优RL时长。改进方向是在多个模型规模（0.6B、3B、7B、14B）上系统验证理论预测。第二个弱点是任务选择的局限性。CoLA是一个简单的二分类任务，而实际后训练涉及数学推理、代码生成、多轮对话等复杂任务。这些任务的奖励景观可能具有不同的曲率特性，影响有效曲率和非解耦阈值的实际取值。改进方向是选择多样的基准任务（如GSM8K、HumanEval）进行验证。第三个弱点是理论分析未考虑混合训练策略。实际中已有工作探索同时优化SFT和RL目标、使用梯度手术或多目标优化等方法，论文的理论框架需要扩展以涵盖这些场景。
未来方向
本文的理论结果为多个研究方向提供了基础。首先，论文指出梯度手术或多目标优化策略可能缓解耦合问题，因为SFT和RL梯度近似正交（由命题2保证），投影去除RL梯度中的SFT分量可能减少退化。其次，论文推导的最优RL时长公式为自适应学习率调度提供了理论依据——可以根据PL常数和梯度范数动态调整RL训练时长。第三，非解耦阈值可用于设计预筛选机制：在开始RL之前评估奖励-SFT对齐系数，如果低于阈值则调整奖励函数设计而非盲目训练。第四，作者提出的景观感知调度概念值得深入探索，即根据损失景观的局部几何特性动态切换SFT和RL阶段。最后，将分析扩展到多轮交替SFT-RL训练（如DeepSeek-R1的两次交替）以及渐进式训练策略是重要的理论延伸方向。
复现评估
本文的复现性评估如下。代码和数据方面：论文使用VeRL框架实现SFT和GRPO训练，VeRL是开源的；CoLA数据集是广泛使用的公开数据集，容易获取。实验设置清晰：SFT训练2个epoch，GRPO使用temperature=0.6、topp=0.95的采样参数，奖励函数定义明确。算力需求方面：Qwen3-0.6B是小模型，在单GPU上即可完成训练，复现门槛较低。然而，论文未提供完整的训练代码或超参数配置文件，实验结果（如图3中的损失曲线）的具体数值点未公开。理论部分的证明相对完整且自包含，但PL常数的实际测量方法未详细说明。总体而言，复现难度中等——基本实验可在消费级GPU上完成，但精确复现需要仔细调优学习率、batch size等超参数。建议作者开源训练脚本和完整的实验配置以提升可复现性。
论文图表