在线策略参数更新方向决定大语言模型后训练的泛化 On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training
GRPO 识别的累积更新方向可将泛化优势迁移给 SFT
前置知识
监督微调（SFT）
用固定的标注或教师生成响应做最大似然训练：给定提示 $x$，最小化教师轨迹 $\tau$ 的负对数概率，梯度形如 $-\mathbb{E}_{\tau\sim\pi_{teacher}}[\nabla_\theta\log\pi_\theta(\tau|x)]$。由于教师分布固定不变，每一步梯度方向高度一致，模型沿同一方向持续更新，容易记住训练数据而对新任务泛化较差。
OPSFT 本质上是加了方向约束的标准 SFT，理解 SFT 的梯度来源才能看懂论文的式 6 和核心约束式 7。
在线策略强化学习（On-policy RL / GRPO）
模型用当前策略自己采样响应，按组内相对奖励计算优势 $A(x,\tau)$，再以策略梯度 $g_{on}=\mathbb{E}[A\, s_\theta]$ 更新参数。GRPO 对同一提示采一组响应做基线归一，省去价值网络。由于采样分布随策略一起演化，训练信号在整个过程中持续变化。
OPSFT 使用的更新方向正是从一小段 GRPO 训练前后的参数差中提取的，不了解 GRPO 就无法理解方向识别步骤。
参数更新方向（符号向量）
把全部参数摊平成 $d$ 维向量后，训练前后参数差的逐元素符号 $v=\operatorname{sign}(\theta_{on}-\theta_{base})\in\{-1,0,1\}^d$，标记每个参数应该增大、减小还是基本不动。相比先前研究只记录非零位置的更新位置集合 $\{0,1\}^d$，方向额外包含了符号信息。
论文的核心结论是：仅约束位置无法迁移泛化，必须约束带符号的方向——这一区分是理解全文的关键。
余弦相似度
衡量两个向量夹角的指标 $\cos(u,v)=u^\top v/(\|u\|\|v\|)$，取值 1 表示同向、0 正交、-1 反向，与向量长度无关。训练分析中常用来比较不同时间步参数更新向量的方向一致性，从而判断优化轨迹是直线推进还是不断转向。
图 2 用它给出核心证据：SFT 累积更新方向相似度接近 1.0，on-policy 仅约 0.5，这是提出 OPSFT 的直接动机。
优势函数
$A(x,\tau)$ 衡量轨迹 $\tau$ 相对该提示下平均水平的优劣，GRPO 中由同组响应的奖励归一化估计。策略梯度可写成优势与得分函数乘积的期望 $\mathbb{E}[A\, s_\theta]$，优势分布决定参数被推向哪里。
理论分析（式 5）表明 on-policy 更新方向由优势与轨迹梯度的协方差决定，优势随策略演化正是更新方向持续调整的根源。
数值精度（BF16/FP32）
BF16 用 8 位指数、7 位尾数表示浮点数，动态范围与 FP32 相同但尾数精度低得多，小于数值分辨率的小梯度更新会被舍入为零。大模型训练通常用 BF16 节省显存和带宽，这会让实际发生的参数更新比理论值稀疏得多。
表 6 显示 BF16 下 vanilla SFT 仅 2.702% 参数被实际更新，而 OPSFT 只更新 0.408% 仍更强，理解精度才能正确解读更新稀疏性。
研究动机
「SFT 记忆、RL 泛化」是 LLM 后训练领域的经典结论：以 Qwen3-8B 在 DeepMath 数据集上的实验为例，100 步 GRPO 在 AIME24/25、HMMT-Feb/Nov 四个基准上平均准确率 40.31，而 700 步 SFT 只有 38.41；但 GRPO 需要 19.3 小时，SFT 只要 13.2 小时，泛化优势以高昂的 rollout 训练成本为代价。已有的机制研究要么逐组件对比 on-policy 与 SFT 的差异（reverse KL、负样本、数据构造等），成本高且结论碎片化；要么直接观察参数更新，发现了稀疏更新位置、小谱偏移等现象，却把这些行为仅当作训练副产品，从不追问它们能否反过来作为优化原则改进 SFT。对 on-policy 更新行为的理解与将其转化为实用增益之间存在明显断层。
本文的目标是本文的具体目标是：找到一种可明确刻画的 on-policy 参数更新行为，把它作为优化原则，使 SFT 在不改变损失函数、不引入持续 rollout 的情况下获得与 on-policy 范式相当的泛化。作者将研究目标从已知的更新「位置」扩展到包含符号的更新「方向」，先在理论和实验上证明 SFT 与 on-policy 的方向行为本质不同，再提出 On-Policy direction-constrained SFT（OPSFT），把 SFT 每一步更新约束到 on-policy 识别的累积方向上。目标达成后还须兑现两项实用收益：只用少量 GRPO 步识别方向即可实现高效训练；以及在已 post-trained 模型上沿原方向继续吸收新积累的高质量轨迹而不破坏已学到的能力。
与已有工作不同的是，独特切入在于把「观察行为」升级为「优化原理」。先前工作（Mukherjee et al. 2026 发现 on-policy 更新集中于小子网络、Shen et al. 2026c 发现谱偏移小）只关注更新位置集合 $\{0,1\}^d$，且只作描述不作利用。本文把约束空间扩展到带符号的方向 $\{-1,0,1\}^d$，并通过对照实验揭示：仅约束位置的 OPSFT 甚至比 vanilla SFT 更差，扩展到方向才带来实质增益，说明方向而非位置才是泛化的载体。作者刻意绕开组件级消融（reverse KL、负样本等），直接比较两类范式的参数更新几何，用一条 SFT 梯度投影规则就完成泛化迁移，正面挑战了「SFT memorizes, RL generalizes」的定论。
核心方法
直觉上，SFT 用固定教师分布的 ground-truth 轨迹做最大似然，每步梯度都指向同一批目标，训练像沿一条直线走，累积更新方向几乎不变；而 on-policy 训练用当前策略自己采样，优势分布随策略演化，每步梯度是优势与轨迹梯度的协方差，方向持续调整。技术上分两步：第一步方向识别，用 GRPO 在目标数据上训练少量步数（效率实验用 50 步），得到符号向量 $v=\operatorname{sign}(\theta_{on}-\theta_{base})\in\{-1,0,1\}^d$；第二步方向约束 SFT，每个训练步计算损失梯度 $g$，用指示函数保留与 $v$ 一致的分量 $g_s=\mathbb{I}(\operatorname{sign}(-g)=v)\odot g$，再交给优化器。考虑到 AdamW 等优化器的动量与权重衰减可能破坏符号约束，实现中还可在每个 optimizer step 后对实际参数增量再做一次方向校正（附录 A）。整体流程只需「少量 RL + 纯 SFT」，无需完整 rollout 训练。
核心创新是把 on-policy 的泛化优势归因于参数累积更新方向，并证明这个方向可以脱离 RL 过程被 SFT 独立复用。与已有方法的本质区别有三：其一，以往增强 SFT 的路线（logit 加权交叉熵、引入负样本、重要性采样数据选择）都在模仿 on-policy 的训练目标或数据构造，仍需改动损失与数据；OPSFT 只改更新的几何约束，损失保持标准交叉熵。其二，先前对更新行为的研究只看位置 $\{0,1\}^d$，本文对照实验显示仅位置约束的 OPSFT 比 vanilla SFT 更差，扩展到方向 $\{-1,0,1\}^d$ 才产生实质增益，定位了泛化信息的真正载体。其三，方向具有同域可复用性：在数学域内，用 DAPO 数据识别的方向训练 DeepMath 的 OPSFT 甚至略优于用 DeepMath 自身方向；跨域（代码域 Eurus 的方向用于数学）则失效，说明方向编码的是域级能力。
方法步骤详情
第一步，方向识别：选定 base 模型（如 Qwen3-8B）与数据集，运行少量 GRPO 步（效率实验用 50 步），计算训练前后参数差 $\theta_{on}-\theta_{base}$ 的符号向量 $v\in\{-1,0,1\}^d$，正负号标记每个参数应增或应减，0 表示基本未动。第二步，约束 SFT：用 Qwen3-30B-A3B 生成的轨迹做标准 SFT，每步对损失求梯度 $g$，按 $g_s=\mathbb{I}(\operatorname{sign}(-g)=v)\odot g$ 丢弃与 $v$ 冲突的分量后送入优化器，必要时在优化器更新后再校正一次实际更新符号。第三步，效率应用：50 步 GRPO 定向加 100 步 OPSFT，替代 100 步 GRPO 或 700 步 SFT/DFT。第四步，增量改进：对已 post-trained 模型沿用原方向继续 OPSFT，吸收新轨迹。第五步，评测：域内用 AIME24/25、HMMT-Feb/Nov，域外用 IFEval、ARC、HaluEval、HellaSwag、Winogrande、PIQA，并报告时长与更新参数比例。
技术新颖性
理论新颖性在于一条干净的概率论证：轨迹得分函数 $s_\theta(x,\tau)=\nabla_\theta\log\pi_\theta(\tau|x)$ 在自采样分布下条件期望为零（式 2），因此 on-policy 梯度投影 $v^\top g_{on}=\mathbb{E}_x\, v^\top\operatorname{Cov}_{\tau\sim\pi_\theta}[A_\theta, s_\theta]$（式 5）完全由随策略演化的优势分布决定，而 SFT 投影 $v^\top g_{sft}=-\mathbb{E}_x v^\top\mathbb{E}_{\tau\sim\pi_{teacher}}[s_\theta]$（式 6）固定不变。实验上用区间与累积余弦相似度量化：SFT 累积方向相似度接近 1.0，on-policy 仅约 0.5，区间更新近正交。在此之上，「把约束从位置升级为方向」「证明方向可跨同域数据集复用」「用 50 步 GRPO 方向超过 100 步完整 GRPO」，都是此前更新行为文献未曾触及的层面。
实验结果
图 3 显示在 Qwen3-1.7B/4B/8B 与 R1-Distill-Llama-3-8B 上，OPSFT 全面超过 vanilla SFT 并接近 GRPO，而仅约束位置的 OPSFT 反而更差，证明方向是泛化载体。表 1 域外评测：Qwen3-8B OPSFT 六基准平均 76.39，Qwen3-4B 达 74.11，均略超 SFT 与 GRPO。图 4 表明位置重叠同域/跨域均约 0.4，方向相似度同域显著更高；DAPO 与 DeepMath 方向余弦仅约 0.2 却可互换使用。图 5 显示越晚期的 GRPO 方向越好但边际递减。表 2 中 Qwen3-8B OPSFT 用 8.9 小时得 41.67，优于 GRPO 19.3 小时的 40.31；R1 模型上 8.1 小时得 26.56，远超 DFT 的 19.90。表 3 显示 GRPO 后继续 SFT 会退化（Qwen3-4B 38.96 降到 36.25），继续 OPSFT 反升至 41.36。表 4/5 的代码任务同规律：OPSFT 均值 58.07 超 GRPO 57.19，post-trained 后 OPSFT 到 60.05 而 SFT 掉到 48.71。表 6 显示 BF16 下 OPSFT 仅更新 0.408% 参数得 40.94，FP32 下更新 9.454% 得 42.81、反超 GRPO 的 42.01。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（Qwen3-8B，DeepMath 训练） | AIME24/25 + HMMT-Feb/Nov 平均准确率与训练时间 | OPSFT 41.67，8.9 小时（50 步 GRPO 定向 + 100 步 OPSFT） | GRPO 40.31，19.3 小时；SFT 38.41，13.2 小时；DFT 38.97，13.9 小时 | 较 GRPO +1.36 且训练时间缩短约 54%；较 SFT +3.26 |
| 域外通用能力（Qwen3-8B，DeepMath 训练） | IFEval/ARC/HaluEval/HellaSwag/Winogrande/PIQA 六基准平均 | 76.39 | SFT 75.54；GRPO 76.20；base 75.85 | 较 SFT +0.85，较 GRPO +0.19，实现数学能力向其他域迁移 |
| 代码生成（Qwen3-4B，Eurus 训练） | HumanEval+/MBPP+/LCBv6 平均与训练时间 | OPSFT 58.07（HumanEval+ 84.00），9.5 小时 | GRPO 57.19，20.3 小时；SFT 54.30，9.8 小时 | 较 GRPO +0.88 且时间减半；较 SFT +3.77，HumanEval+ 高出 3.21 |
| 已 post-trained 模型继续训练（Qwen3-4B，GRPO 100 步后） | 数学四基准平均准确率 | 继续 OPSFT 41.36 | GRPO 后 base 38.96；继续 SFT 36.25 | 较继续 SFT +5.11，逆转 SFT 造成的性能退化 |
| 参数精度消融（Qwen3-8B） | 更新参数比例与平均准确率 | BF16：0.408%/40.94；FP32：9.454%/42.81 | BF16 SFT：2.702%/38.33；FP32 SFT：89.286%/38.41；GRPO（FP32）9.499%/42.01 | FP32 下反超 GRPO +0.80，更新参数比例仅约十分之一 |
局限与改进
作者在附录 C.2 中讨论了局限。结合本文证据还可补充：第一，方向识别仍依赖真实 GRPO 训练，需要 rollout 算力与有效的奖励设置，冷启动成本没有消除、只是被摊薄。第二，方向不可跨域复用（Eurus 代码方向对数学任务无效），且同域不同数据集的方向余弦仅约 0.2，说明「泛化方向」是一个多解集合，本文没有解释哪些方向有效、为何有效。第三，方向质量随 GRPO 步数增加而提升但边际递减（图 5），暗示早期方向存在次优性，50 步之后的收益已经很小。第四，OPSFT 的优势只在 1.7B–8B 规模验证，未触及更大模型；约束只控符号不控幅值，理论上参数仍可能沿错误符号大幅漂移。第五，BF16 下仅更新 0.408% 参数的极端稀疏性对超参数与数值精度敏感（表 6），换精度结论会明显变化，工程落地需谨慎。
独立分析的弱点
独立分析几个弱点：其一，方向识别的 GRPO 段仍是整条流水线最贵的部分，且每个新领域都要重跑；改进方向是用小代理模型或极少样本估计优势协方差的方向，或寻找无 RL 的参数空间方法直接近似 $v$。其二，$\operatorname{sign}(\theta_{on}-\theta_{base})$ 是二值硬约束，对奖励噪声和早期训练不稳定敏感——若早期方向有偏，整个 SFT 会被锁死在次优子空间；可引入软约束（如按 $|\theta_{on}-\theta_{base}|$ 幅值加权）或训练中周期性重估方向。其三，评测集中在数学与代码等可验证任务，开放式写作、多轮对话等场景未验证方向约束是否同样有效。其四，同域方向相似度仅 0.2 却都有效，说明论文缺少对「方向空间几何」的理论刻画，目前更像一个非常强的经验发现而非完整理论，方向与泛化之间的因果链条仍待补全。
未来方向
作者提出的后续方向包括：分析 on-policy 范式中哪些组件（reverse KL、负采样、优势估计方式等）负责识别泛化友好的方向；研究推理轨迹的性质（质量、多样性、长度）如何通过 OPSFT 影响模型泛化。基于本文成果还可延伸：把方向约束用作模型合并与持续学习中的投影算子，防止能力遗忘；与 LoRA 等低秩适配结合，在低秩子空间内施加方向约束以进一步省显存；探索方向的多解流形，寻找比 GRPO 更廉价的方向识别器；把 OPSFT 推广到偏好优化（DPO 类）与多模态后训练；以及研究方向约束与数据选择、课程学习的联合优化。
复现评估
复现条件较好：代码已在 GitHub 开源（https://github.com/ssfgunner/OPSFT）；训练数据均为公开集（DeepMath、DAPO、Eurus-RL-Code），SFT 轨迹由开源的 Qwen3-30B-A3B 生成；模型为公开的 Qwen3-1.7B/4B/8B 与 DeepSeek-R1-Distill-Llama-3-8B。主要成本在方向识别段的 GRPO 训练与大规模 SFT：论文报告 Qwen3-8B 上 100 步 GRPO 需 19.3 小时、OPSFT 全程 8.9 小时，虽未说明具体硬件配置，推测需要多卡 A100/H100 级别，1.7B 规模可在单机复现。方法本身实现简单（一个梯度掩码加可选的步后符号校正），关键超参（GRPO 50 步定向、SFT 100/700 步）文中均已给出，有 RL 训练经验的团队复现难度中等。
论文图表
左图显示不同训练阶段之间区间更新的余弦相似度：SFT 各阶段正相关，on-policy（OPD、GRPO）近乎正交；右图显示累积更新的相似度：SFT 接近 1.0，on-policy 仅约 0.5。
这是「SFT 沿固定方向更新、on-policy 持续调整方向」这一核心假设的直接实验证据，也是选择累积方向作为研究对象的依据。