GFT：从模仿到奖励微调——基于无偏组优势与动态系数校正的统一后训练框架

将SFT重写为带稀疏奖励的on-policy RL，提出GAL+DCR统一后训练框架

前置知识

监督微调（SFT）

在专家演示数据 $(x, y^*)$ 上以负对数似然为目标 $\mathcal{L}_{SFT} = -\mathbb{E}_{\mathcal{D}}[\log \pi_\theta(y^*|x)$ 训练语言模型，让模型模仿给定的高质量回答。是把预训练基座模型对齐到下游任务的核心手段。

GFT正是在SFT与RL的对立中寻找统一解法，必须先理解SFT的目标函数才能把握作者对'单路径依赖'与'梯度爆炸'的诊断。

策略梯度与重要性采样

on-policy 策略梯度对每个样本用 $\log\pi_\theta$ 的梯度乘奖励 $r$ 累加；当样本来自分布 $q$ 而非目标 $\pi$ 时，需用权重 $w=\pi/q$ 修正。论文用此技巧把 SFT 改写为 on-policy 形式。

该视角暴露 $1/\pi_\theta$ 这一不稳定权重，是 DCR 设计的理论基础。

GRPO（组相对策略优化）

DeepSeek 提出的一种无 critic RL 算法：对同一 prompt 采样 $K$ 条回答，用组内归一化 $A(y_k) = (R(y_k)-\mu)/\sigma$ 作为优势估计，避免训练价值网络，是当前 LLM 推理 RL 的主流方法。

GFT 的 Group Advantage Learning 直接借鉴 GRPO 的组内归一化思想；理解 GRPO 才能体会 GFT 如何把它与模仿学习融为单阶段目标。

灾难性遗忘与策略漂移

在窄分布的专家数据上 SFT 训练会显著偏离预训练分布，表现为 KL($\pi_\theta||\pi_{base}$) 升高与通用能力退化。论文用平均 KL 散度作为遗忘的代理指标。

GFT 的关键卖点之一是'比 SFT 显著缓解遗忘'，但又比 GRPO 保留更高的精度；理解 KL-遗忘关系才能解读 Figure 5 与 Table 3。

研究动机

SFT 与 RL 在 LLM 后训练中长期被视为两套互补但难以融合的范式：SFT 借助专家演示高效注入知识，但作者在 Qwen2.5-Math-1.5B/Numina-Math 上观察到，SFT 相对基座模型出现系统性回归（Figure 1a），并在 TabMWP 等任务上表现糟糕；更严重的是 'SFT+GRPO' 串联管线相比单独 GRPO 收益被显著削弱（Figure 1b），形成所谓'协同困境'。作者通过对训练动力学的严格推导指出，根源在于 SFT 等价于一种 on-policy RL，其奖励 $r(x,y)=\mathbb{I}[y=y^*]$ 极度稀疏，把学习信号限制在唯一专家轨迹上（单路径依赖），同时优化梯度被不稳定的重要性权重 $w(y|x)=1/\pi_\theta(y|x)$ 放大，对模型赋予的低概率 token 产生梯度爆炸，驱动模型走向机械记忆与过拟合。

本文的目标是论文目标明确：构建一个名为 GFT（Group Fine-Tuning）的统一单阶段后训练框架，期望同时实现三个目标：（1）精度层面超越标准 SFT 及其改进版 DFT/ASFT/PSFT，在 Qwen2.5-Math-1.5B 的 MATH 上至少把 64.35 推到 70 以上；（2）打破'SFT+GRPO'的协同困境，使 GFT 自身或 GFT→RL 串联后能取得比纯 RL 更高的性能上限，对应 Figure 4 中 Sat-Math 训练动力学的最高收敛曲线；（3）显著缓解 SFT 带来的灾难性遗忘，对应 Figure 5 中策略模型与基座模型的 KL 散度应接近 GRPO 而显著低于 SFT。

与已有工作不同的是，现有研究通常把 SFT 与 RL 当作可线性组合或交替切换的独立模块（SRFT、UFT、CHORD、HybridFlow 等），或像 DFT 那样用全局 $1/\pi$ 重加权损失，但这种'一刀切'抑制同样会削弱对新颖知识的注入。GFT 的独特切入角度是：在理论上把 SFT 严格视作带稀疏奖励的 on-policy RL 据此诊断其两类缺陷（Eq.(3)），再用'组优势对比学习+逐 token 动态裁剪'在统一目标中分别对症下药——既不放弃专家信号，又不压缩探索空间。

核心方法

GFT 的整体直觉是：把每个 prompt 的训练信号从'一条专家轨迹'扩展为'混合响应组'，并对组内回答做奖励归一化得到相对优势，让模型学会'在多条候选中区分优劣'而不是机械模仿；与此同时，对专家或自采样回答中出现的低概率 token，停止反向传播经过 $1/\pi$ 项以避免梯度爆炸，对常规 token 保留原梯度保证知识注入效率。这两条机制合并为 Eq.(6) 的策略梯度形式，可同时退化为 SFT（$|G_x|=1$）或 RL（多样本组），具有理论上的通用性。

GFT 的核心创新在于'组优势 × 动态系数'的乘性组合：Group Advantage Learning 用 $A(y_k)=(R(y_k)-\mu_{G_x})/(\sigma_{G_x}+\epsilon)$ 把稀疏的二值模仿信号变成组内连续、对比性的监督，从根本上消除单路径依赖；Dynamic Coefficient Rectification 用一个分段函数 $C(\pi_t)=\mathrm{sg}(\pi_t)\cdot\mathbb{I}[\pi_t<\tau]+\mathbb{I}[\pi_t\ge\tau]$ 对低概率 token 切断 $1/\pi$ 通道，仅保留稳定项 $\mathrm{sg}(\pi_t)$，从而既不全面压制梯度也不放任爆炸。与 DFT 关键区别是：DFT 用 $1-\pi$ 全局削减 $1/\pi$ 项，损失了新颖知识梯度；GFT 只在确实低概率的 token 上做裁剪，并把'判断裁剪与否'与'是否专家 token'解耦。

方法步骤详情

训练流程分三步。第一步为每条 query $x$ 构建混合响应组 $G_x$，论文取 $K=8$，组成为 1 条专家示范 + 3 条 Qwen2.5-Math-72B 蒸馏 + 4 条自采样。第二步对组内 $y_k$ 计算规则化奖励 $R(y_k)$，按 $A(y_k)=(R-\mu)/(\sigma+\epsilon)$ 做组内标准化。第三步按 Eq.(6) 训练：对 token $y_{k,t}$ 由 DCR 函数 $C(\pi_{k,t})$ 决定梯度系数（$\pi<\tau$ 时停梯度于 $\mathrm{sg}(\pi)$，否则为 1），再以 $A(y_k)\cdot C(\pi_{k,t})/\pi_{k,t}\cdot\nabla_\theta\log\pi_{k,t}$ 累积梯度。附录 B 给出 token 级损失 $\mathcal{L}_{tok}^{GFT}=-\mathbb{E}_x\sum_{y_k}\sum_t A(y_k)C(\pi_{k,t})\log\pi_{k,t}$，可直接用现成框架实现。

技术新颖性

技术上 GFT 的新颖性体现在三点：（1）首次严格证明 SFT 梯度等价于带 $\mathbb{I}[y=y^*]$ 奖励和 $1/\pi_\theta$ 权重的 on-policy 策略梯度（附录 A），为后续改进提供理论支点；（2）把'组内归一化优势'与'专家模仿'融合为单阶段目标，避免了 SRFT/UFT/CHORD 等多阶段或混合损失拼接的复杂调度；（3）DCR 是一种'按需'而非'全局'的梯度裁剪，与 PPO clipping 思想同源但应用于 SFT 范式，论文实验验证 $\tau\approx 0.7$ 时稳定性与学习效率达到最佳均衡（Figure 6），并对 $\tau$ 表现出较强鲁棒性。

**Figure 2**: GFT 整体框架：Group Advantage Learning + Dynamic Coefficient Rectification。

**Figure 6**: 裁剪阈值 $\tau$ 的影响：精度呈倒 U 形，DCR 裁剪比例随 $\tau$ 单调上升。

实验结果

论文在 5 模型、11 基准上验证 GFT。Table 1 核心：Qwen2.5-Math-1.5B 上 GFT 取得 MATH 70.50 / AMC23 46.09 / Minerva 28.93，相对 SFT 提升 +9.84/+14.84/+4.94，且仅 10k 样本超过 100k 训练的 DFT（64.35）；Qwen2.5-Math-7B 上 GFT 取得 MATH 77.31 / Minerva 39.86。Table 2 消融：GAL 决定复杂推理（Olympiad 去 GAL 从 30.52 跌到 26.63），DCR 决定稳定性（去 DCR 训练曲线剧烈震荡）。Table 3 验证遗忘：LLaMA-3.2-3B 上 SFT 在 Mawps/SVAMP/MMLU-STEM 分别掉 4.09/7.63/5.98 分，GFT 几乎保持基座水平。Table 4 的 Pass@128 显示 GFT 在 SAT-Math/Minerva/TabMWP 达 72.58/28.59/85.31，超过 GRPO 的 52.95/19.89/76.77，兼顾精度与多样性。

**Table 1**: 7 个数学基准上的主结果（5 个模型 × 8 种方法）。

**Table 2**: Qwen2.5-Math-1.5B 上的 GAL/DCR 消融。

**Table 3**: LLaMA-3.2-3B-Instruct 在通用推理基准上的灾难性遗忘对比。

**Table 4**: Pass@128 与 Pass@256 多样性对比：Distillation vs GRPO vs GFT。

**Table 5**: 组内 demo 与 self-sample 比例 $N_{demo}:N_{sample}$ 的影响。

**Figure 4**: Qwen2.5-Math-1.5B 上不同管线 Pass@16 对比及 SAT-Math 训练动力学。

查看结构化数据

任务	指标	本文	基线	提升
Qwen2.5-Math-1.5B on MATH	Pass@1 (%)	70.50 (GFT) / 68.13 (GFT no-mix)	60.66 (SFT) / 64.35 (DFT) / 60.35 (ASFT) / 65.97 (GRPO)	相对 SFT +9.84，相对 DFT +6.15，相对 GRPO +4.53
Qwen2.5-Math-1.5B on AMC23	Pass@1 (%)	46.09 (GFT) / 42.18 (GFT no-mix)	31.25 (SFT) / 36.40 (DFT) / 43.12 (ASFT) / 44.84 (GRPO)	相对 SFT +14.84，是所有方法中最高
Qwen2.5-Math-7B on Minerva Math	Pass@1 (%)	39.86 (GFT)	31.82 (SFT) / 35.31 (DFT) / 32.60 (GRPO) / 32.47 (ASFT)	相对 SFT +8.04，相对最优基线 DFT +4.55
LLaMA-3.2-3B-Instruct on OlympiadBench	Pass@1 (%)	30.52 (GFT)	24.58 (SFT) / 26.63 (w/o GAL) / 27.82 (w/o DCR)	相对 SFT +5.94，消融中 GAL 贡献最大
LLaMA-3.2-3B-Instruct on MMLU-STEM	Pass@1 (%)	43.89 (GFT)	35.05 (SFT) / 39.48 (GRPO) / 41.03 (Base)	相对 SFT +8.84，相对基座还 +2.86（不仅没遗忘还提升）
LLaMA-3.2-3B-Instruct on Mawps	Pass@1 (%)	95.79 (GFT)	91.97 (SFT) / 94.60 (GRPO) / 96.06 (Base)	相对 SFT +3.82，仅与基座差 -0.27（近乎无遗忘）
Qwen2.5-Math-1.5B on SAT-Math Pass@128	Pass@128 (%)	72.58 (GFT)	66.67 (Distillation) / 52.95 (GRPO) / 39.69 (Base)	相对 GRPO +19.63，相对 Distillation +5.91（多样性更佳）

局限与改进

作者明确承认三点局限：第一，实验集中在数学推理（规则化、可验证的奖励），GFT 推广到主观奖励或开放式生成（如创意写作、对话）时奖励设计需要重新思考；第二，构造响应组相比标准 SFT 引入额外的数据准备开销（虽然显著低于 online RL），包括 3 条 72B 教师蒸馏与 4 条自采样；第三，受学术算力限制，最大实验规模是 8B 模型，未在 70B+ 模型上验证。我个人的观察是：GFT 在训练体量上 10k vs 100k 的对照里没有完全匹配总 token 量（10k×8=80k 序列 vs 100k 序列），因此'数据效率'的对比可能略高估 GFT；同时奖励信号是规则化的 0/1，对需要细粒度偏好的任务适用性存疑；Table 4 中 GFT(no-mix) 在 LLaMA-3.2-3B 上反而比 GFT 更好，提示'教师蒸馏并非越多越好'，但论文没有深入分析教师选择策略。

独立分析的弱点

独立分析可识别的弱点包括：（1）'组大小 $K=8$' 与'采样次数 8' 并不是天然对齐——为 GFT 采样 8 个回答需要 $\Theta(K)$ 次模型前向，训练成本至少 1.5-2× SFT，论文未给出 wall-clock 时间对比；（2）裁剪阈值 $\tau\approx 0.7$ 与组内归一化常量 $\epsilon$ 都需要按任务调，且 Figure 6 显示对 $\tau$ 敏感；（3）奖励是 0/1 规则，$A(y_k)$ 会落入极少数离散值，组内方差极小时（例如 8 条全对）优势近似为零导致训练信号弱化，论文未讨论这种'优势坍缩'问题；（4）Table 1 中 LLaMA-3.2-3B 上的 GFT(no-mix) 在 Minerva 21.29 反而高于 GFT 18.84，说明添加教师蒸馏在异构模型上可能引入分布失配，需要更智能的教师筛选机制。改进方向：引入连续奖励（如 PRM）、自适应 $\tau$、动态组大小、对教师蒸馏做分布匹配（类似 rejection sampling）。

未来方向

作者提出的未来工作包括：扩展到 70B+ 模型以验证可扩展性；将 GFT 应用到开放式任务需要设计新的奖励信号；与更多 RL 范式（如 DPO、PPO、流程奖励模型 PRM）结合。从本文成果可延伸的方向有：（1）用 PRM 替代规则奖励，把 GAL 推广到'过程级'组优势（按推理步骤计分）；（2）把 GFT 与 curriculum learning 结合，逐步降低组内专家比例、增加自采样；（3）把 DCR 与 PPO 风格 clip 统一，给出更一般的'梯度稳定化'理论分析；（4）探索 GFT 在 agent / 工具调用 / 代码生成等长程任务上的表现；（5）将 GFT 推广到多模态模型，把视觉/音频 token 一并纳入组内优势计算。

复现评估

论文来自浙江大学软件学院 ACES Lab，附录 C 给出评测协议：11 个基准（AMC23、College Math、Gaokao2023En、Math、Minerva、TabMWP、OlympiadBench、MMLU-STEM、SAT-Math、Mawps、SVAMP），Pass@16 平均、温度 0.5、最大生成长 4096。模型覆盖 Qwen2.5-Math-1.5B/7B、LLaMA-3.2-3B、LLaMA-3.1-8B、DeepSeekMath-7B；基线涵盖 SFT/SFT(mix)/DFT/ASFT/PSFT/GRPO。训练数据为 NuminaMath CoT，GFT 10k×8 轨迹、SFT 100k。论文给出 $\tau$、$K$、$N_{demo}:N_{sample}$ 超参扫描（Table 5 与 Figure 6），但 arXiv v3 文末未给 GitHub 链接，开源情况未明确声明。复现难度评估为中等偏高：需 72B 教师蒸馏 + 多 GPU 自采样推理，普通实验室完整复现 5 模型 × 11 benchmark 表格成本较高。

GFT：从模仿到奖励微调——基于无偏组优势与动态系数校正的统一后训练框架 GFT: From Imitation to Reward Fine-Tuning with Unbiased Group Advantages and Dynamic Coefficient Rectification