ProFit: 通过概率引导的Token选择在SFT中利用高价值信号 ProFit: Leveraging High-Value Signals in SFT via Probability-Guided Token Selection
利用token预测概率识别核心语义，选择性训练高概率token提升SFT效果
前置知识
监督微调 (Supervised Fine-Tuning, SFT)
SFT是大语言模型后训练的基本范式，通过在标注数据上最小化负对数似然损失来调整模型参数。给定输入 $x$ 和参考回答 $y^*=(y_1^*,...,y_T^*)$，SFT的优化目标为 $\mathcal{L}_{SFT}(\theta) = \mathbb{E}_{(x,y^*)\sim\mathcal{D}}[-\sum_{t=1}^{|y^*|} \log \pi_\theta(y_t^*|x,y_{<t}^*)]$。传统SFT在token级别强制模型与单一参考答案严格对齐，这意味着所有token都被同等对待，不区分核心语义token和表面表达token。
理解传统SFT的局限性是本文的核心动机，ProFit正是针对SFT中'一刀切'训练策略的改进
Token预测概率
在自回归语言模型中，给定前文 $y_{<t}^*$，模型通过softmax函数计算下一个token的概率分布 $p_t = \text{softmax}(z_t)$，其中 $z_t$ 是模型输出的logits向量。预测概率 $p_{t,y_t^*} = \pi_\theta(y_t^*|x,y_{<t}^*)$ 表示模型对参考答案中token的确信程度。高概率意味着模型在该位置预测较为确定，低概率则表示不确定性较高。
论文的核心发现是token预测概率与语义重要性之间存在正相关，这是ProFit方法设计的基础
低秩适配 (Low-Rank Adaptation, LoRA)
LoRA是一种参数高效微调技术，基于权重更新 $\Delta W$ 具有低秩结构的假设。对于冻结的权重矩阵 $W_0 \in \mathbb{R}^{d \times k}$，LoRA通过低秩分解 $BA$ 来近似更新，其中 $B \in \mathbb{R}^{d \times r}$、$A \in \mathbb{R}^{r \times k}$ 且 $r \ll \min(d,k)$。前向传播变为 $h = W_0x + \frac{\alpha}{r}BAx$，其中 $\alpha$ 是缩放超参数。这种方法大幅减少了可训练参数量，同时保持了较好的性能。
论文中大量实验使用LoRA进行微调，并深入分析了LoRA秩对ProFit性能的影响
多参考答案SFT
为了解决单一参考答案导致的过拟合问题，一种直观的方法是为每个指令收集多个不同的参考答案进行训练。理论上，多个参考答案可以覆盖语言的一对多特性，让模型学习到不同的合理表达方式。然而，构建多样化的高质量回答集需要线性增长的标注成本，且在训练过程中可能因分布冲突导致优化不稳定。
论文通过实验证明多参考答案方法的效果并不稳定，为ProFit的选择性策略提供了直接动机
梯度分析与优化干扰
在标准SFT中，每个token的损失对logits的梯度为 $\frac{\partial \ell_t}{\partial z_{t,v}} = p_{t,v} - \mathbb{I}[v=y_t^*]$。这意味着所有非参考token（$v \neq y_t^*$）都会被抑制，包括那些语义上合理的改写表达。论文的理论分析证明，在局部非退化假设下，梯度范数满足下界 $\|\nabla_\theta \ell\|_2 \geq \gamma \cdot (1 - \pi_\theta(y_t^*|x,y_{<t}^*))$，即低概率token会产生更大的参数梯度。
这一理论结果揭示了低概率token如何通过大梯度干扰关键语义信号的优化，为ProFit的掩码策略提供了理论支撑
研究动机
传统监督微调（SFT）在token级别强制模型与单一参考答案严格对齐，这种策略忽略了语言的一对多特性——同样的语义意图可以有多种不同的表达方式。具体来说，标准SFT的交叉熵损失会无差别地惩罚所有非参考token，包括语义上完全合理的改写表达，导致模型过度拟合于表面级别的措辞风格而非底层推理逻辑。论文通过实证分析发现，当使用多参考答案进行训练时，虽然理论上可以缓解这一问题，但实际效果并不理想：在Qwen3-4B-Base上，使用3个参考答案训练的SFT在GPQA-Diamond上的表现从单答案的34.1%下降到33.5%，且在IFEval等指令跟随任务上表现不佳。这表明盲目增加参考答案不仅成本高昂（标注负担线性增长），还可能引入分布冲突导致优化不稳定。核心矛盾在于：标准SFT效率高但语义覆盖有限，多参考SFT语义丰富但成本不可接受。
本文的目标是本文的具体目标是在保持单指令-单回答的低成本数据配置下，设计一种选择性训练策略，能够从单一参考答案中准确识别并聚焦于那些真正携带核心推理逻辑的高价值token。具体而言，作者希望找到一个可靠的信号来区分'核心token'（决定答案正确性的关键推理步骤）和'非核心token'（可替换的表面表达），然后只对前者进行训练，从而在不增加数据成本的前提下同时提升模型的推理能力和泛化性能。
与已有工作不同的是，本文的独特切入角度在于发现了token预测概率与语义重要性之间的内在联系。通过对多个参考答案的语义分析，作者使用Gemini-3-Pro作为语义评估器，将token分类为'核心token'和'非核心token'，然后使用Qwen3-4B-Base计算每个token的预测概率。统计假设检验（$p = 1 \times 10^{-6}$）显示这两类token的概率分布存在显著差异：核心token高度集中在高置信度区域（均值0.768），而非核心token呈现长尾分布（均值0.485）。基于这一发现，作者提出直接利用模型自身的预测概率作为动态指标来定位核心token，无需额外的参考模型或复杂的标注流程。这种'自监督'的选择策略既高效又准确，与此前需要外部参考模型的方法（如Rho-1、TIS-DPO）形成了鲜明对比。
核心方法
ProFit的方法思路可以用一个直觉来理解：在SFT训练过程中，不是所有token都同等重要。就像阅读一篇论文时，你不会逐字逐句地记忆，而是抓住关键的逻辑连接词、核心公式和结论性表述。ProFit让模型也学会这种'抓重点'的能力。技术路线分为三个阶段：首先，通过语义分析建立token预测概率与语义重要性之间的关联；其次，设计基于阈值的掩码机制，在训练过程中选择性地只对高概率token计算损失；最后，通过stop-gradient技术确保掩码操作不会引入梯度计算的可微性问题。整个过程不需要额外的参考模型，完全依赖模型自身的预测能力来识别高价值信号。
ProFit的核心创新点在于将token预测概率作为语义重要性的代理指标，并采用严格的硬掩码策略。与此前的概率驱动方法（如DFT的软重加权）不同，ProFit直接将低概率token完全排除在训练之外，而非给予较小的权重。具体而言，ProFit定义了一个二值有效性掩码 $M_t = \mathbb{I}[\text{sg}(\pi_\theta(y_t^*|x,y_{ \tau]$，其中 $\text{sg}(\cdot)$ 是stop-gradient算子，$\tau \in [0,1]$ 是静态阈值。这个掩码在反向传播时作为一个固定的'门'，只允许高概率token的梯度通过。论文的理论分析表明，低概率token会产生显著更大的logit梯度，这些大梯度会'淹没'关键语义信号的优化方向。通过屏蔽这些干扰信号，ProFit能够让模型更专注于学习不变的推理逻辑骨架，而非表面的表达变体。
方法步骤详情
ProFit的实施包含以下具体步骤：第一步，语义分析阶段，使用Gemini-3-Pro对参考答案中的token进行语义标注，将其分类为'trivial tokens'（可互换的风格变体）和'core tokens'（封装核心推理逻辑的关键token）。同时使用Qwen3-4B-Base进行前向传播，计算每个token的预测概率。统计分析确认这两类token的概率分布存在显著差异（假设检验 $p = 1 \times 10^{-6}$）。第二步，训练阶段，在每个训练步中，对于输入 $x$ 和参考回答 $y^*$，计算每个位置的预测概率 $\pi_\theta(y_t^*|x,y_{<t}^*)$。第三步，掩码生成，通过stop-gradient机制获取detached概率，然后应用阈值 $\tau$ 生成二值掩码 $M_t$。第四步，损失计算，只对被掩码选中的高概率token计算负对数似然损失：$\mathcal{L}_{ProFit}(\theta) = \mathbb{E}_\mathcal{D}[-\frac{1}{T}\sum_{t=1}^T M_t \log \pi_\theta(y_t^*|x,y_{<t}^*)]$。第五步，反向传播，stop-gradient确保掩码 $M_t$ 作为固定门，避免了阶跃函数的可微性问题。整个流程在标准SFT框架（如LLaMA-Factory）中即可实现，无需复杂的额外组件。
技术新颖性
ProFit的技术新颖性体现在多个层面。首先，在理论层面，论文推导了token级梯度范数的下界定理（Theorem 1），证明在局部非退化假设（Jacobian满秩，$\sigma_{\min}(J_\theta(z)) \geq \gamma > 0$）下，梯度范数满足 $\|\nabla_\theta \ell\|_2 \geq \gamma \cdot (1 - \pi_\theta(y_t^*|x,y_{ 0.1$）增加秩单调提升性能，而对非核心token增加秩反而有害，这一分析为实践中的秩选择提供了指导。
实验结果
论文在多个模型家族和基准测试上进行了广泛的实验验证，主要发现包括：（1）ProFit在所有评估设置下都一致优于标准SFT基线。在Qwen3-4B-Base上，ProFit的平均准确率达到52.33%，大幅超过标准SFT的41.39%（提升10.94%），这是所有模型中最大的改进幅度。在Qwen3-14B-Base上，标准SFT甚至出现了相对于Vanilla基线的性能下降（-1.88%），而ProFit成功逆转了这一趋势，实现了+5.64%的提升。（2）ProFit在知识密集型任务和推理任务上都表现出色。在MATH-500上，Qwen3-4B-Base使用ProFit达到77.85%准确率（SFT为74.80%）；在GSM8K上达到87.55%（SFT为55.43%）。在GPQA-Diamond这一高难度推理任务上，Qwen3-0.6B-Base使用ProFit达到22.85%（SFT为17.93%）。（3）ProFit在指令跟随任务IFEval上同样表现出色，Qwen3-14B-Base达到58.02%（SFT为36.69%），提升超过21个百分点。（4）在已指令微调的模型上，ProFit能有效缓解灾难性遗忘。在Qwen2.5-7B-Instruct上，标准SFT导致-1.83%的平均性能下降，而ProFit反而提升了+0.17%。（5）作为RL初始化时，ProFit展现出更稳定的训练动态，在MATH-500上最终达到57.3%的Avg@4和76.4%的Pass@4，显著优于基线的53.1%和70.6%。（6）在一般能力基准测试上，ProFit在0.6B和14B规模上都实现了最高的平均改进（分别+26.56%和+5.28%），证明其在优化特定能力的同时不会严重损害通用知识。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GPQA-Diamond (通用推理) | 准确率 (%) | Qwen3-4B: 34.34% | SFT: 34.15%, Vanilla: 23.17% | 相比SFT +0.19%, 相比Vanilla +11.17% |
| GSM8K (数学推理) | 准确率 (%) | Qwen3-4B: 87.55% | SFT: 55.43%, Vanilla: 82.50% | 相比SFT +32.12%, 相比Vanilla +5.05% |
| MATH-500 (数学推理) | 准确率 (%) | Qwen3-4B: 77.85% | SFT: 74.80%, Vanilla: 57.67% | 相比SFT +3.05%, 相比Vanilla +20.18% |
| AIME'24 (竞赛数学) | 准确率 (%) | Qwen3-4B: 13.02% | SFT: 11.25%, Vanilla: 8.23% | 相比SFT +1.77%, 相比Vanilla +4.79% |
| IFEval (指令跟随) | 准确率 (%) | Qwen3-4B: 48.87% | SFT: 31.33%, Vanilla: 33.04% | 相比SFT +17.54%, 相比Vanilla +15.83% |
| Qwen3-14B 平均 | 平均准确率 (%) | 58.72% | SFT: 51.20%, Vanilla: 53.08% | 相比SFT +7.52%, 相比Vanilla +5.64% |
| OLMo-2-7B 平均 | 平均准确率 (%) | 28.54% | SFT: 28.03%, Vanilla: 23.07% | 相比SFT +0.51%, 相比Vanilla +5.47% |
| Llama-3.1-8B 平均 | 平均准确率 (%) | 27.04% | SFT: 26.70%, Vanilla: 17.07% | 相比SFT +0.34%, 相比Vanilla +9.97% |
局限与改进
论文承认的主要局限性包括：首先，核心假设——低概率token代表非核心表达——主要适用于逻辑密集型任务（如推理、数学），而对于创意生成任务，低概率token可能正是风格多样性的来源，这需要进一步研究。其次，ProFit当前采用静态概率阈值 $\tau$ 应用于所有样本，虽然这种设计确保了实现简单性和训练稳定性，且已取得一致的实证收益，但未来可以通过引入基于实例难度的自适应阈值机制来进一步提升性能。从我个人的观察来看，论文的实验主要集中在相对较小的模型规模（最大14B），在更大规模模型上的效果尚待验证。此外，阈值 $\tau$ 的选择可能对结果有较大影响，虽然论文进行了消融实验，但缺乏理论指导的最优阈值选择方法。论文使用2000个训练样本的设置也值得关注——这是否意味着ProFit在数据更稀缺时表现更好，还是其效果会随数据量变化，这些都需要进一步探究。
独立分析的弱点
独立分析ProFit的弱点，可以发现以下几个方面：第一，静态阈值 $\tau$ 的局限性。论文承认当前使用固定的概率阈值，这意味着所有样本不论难度都适用相同的筛选标准。对于简单的样本，大部分token可能都是高概率的，掩码效果有限；对于困难样本，可能大部分token都被掩码，导致有效训练信号不足。改进方向可以是设计基于样本困惑度或token概率分布特性的自适应阈值机制。第二，对核心token的定义过于依赖单一的代理指标。虽然论文通过假设检验验证了概率与语义重要性的相关性，但这种相关性并非完美——图3显示存在一些非核心token也具有高概率。更精细的选择策略可能需要结合多种信号，如注意力权重、梯度大小等。第三，论文缺乏对不同阈值 $\tau$ 在不同任务类型上的表现差异的深入分析，特别是对于知识密集型任务（如GPQA-Diamond），高阈值可能导致特定的长尾实体信息丢失。第四，ProFit的理论分析假设Jacobian是满秩的（局部非退化），这个假设在实际训练中是否始终成立需要更严格的验证。
未来方向
基于ProFit的成果，可以延伸出多个有价值的研究方向。作者提出的自适应阈值机制是一个自然的下一步：可以根据每个样本的token概率分布特性（如均值、方差、分位数）动态调整 $\tau$，或者引入可学习的阈值参数。其次，可以探索ProFit与其他训练策略的结合，例如与强化学习（RLHF/GRPO）的更深度融合——论文的6.4节已初步展示了ProFit作为RL初始化的优势，但完整的端到端训练流程值得研究。第三，将ProFit扩展到多模态场景，探索视觉token是否也存在类似的'核心/非核心'区分。第四，研究ProFit在长文本生成和创意写作任务中的适用性，这些任务中低概率token可能承载重要的风格和创意信息。第五，开发更精细的token重要性度量，可能结合语义解析、依存分析等NLP技术，而非仅依赖概率这单一信号。最后，可以研究ProFit在持续学习和领域适应场景中的表现，探索其在防止灾难性遗忘方面的潜力。
复现评估
从复现评估角度来看，ProFit具有较好的可复现性。论文使用了开源的训练框架LLaMA-Factory，评估使用OpenCompass框架，这些工具都有良好的文档和社区支持。训练数据来自公开的BAAI-InfinityInstruct数据集（选取2000个样本），计算资源为8块H20 GPU，对于学术研究者来说是可接受的配置。论文提供的超参数设置在附录中有详细说明。然而，有一些复现挑战需要注意：（1）论文使用Gemini-3-Pro进行语义标注来建立概率-重要性关联的验证，这个API调用可能有成本和访问限制；（2）论文的开源代码链接（https://github.com/Utaotao/ProFit）已在论文中提供，但需要确认代码的完整性和文档质量；（3）对于不同模型架构和规模，最优的阈值 $\tau$ 可能不同，论文的实验设置（$\tau$ 的具体值）在附录中，但缺乏详细的调优指南；（4）论文的评估涉及多个基准测试和多轮采样（AIME'24平均32次，其他8次），推理成本较高。总体而言，核心算法的实现难度不高（主要是几行掩码操作），但完整的实验复现需要一定的工程投入。
论文图表
该图对比了三种方法（Vanilla、SFT w/ 1 ans、SFT w/ 3 ans、ProFit）在四个基准测试（GPQA-Diamond、GSM8K、MATH-500、IFEval）上的准确率。结果显示多参考SFT（3个答案）在某些任务上有边际改进但效果不稳定，在GPQA-Diamond上甚至从34.1%下降到33.5%。ProFit在所有任务上都取得了最优表现，特别是IFEval上表现出色。
这张图直接支撑了论文的核心论点——多参考SFT的成本-收益比不佳，ProFit是更好的替代方案。实验数据清晰地展示了性能对比。