熵自适应微调：解决置信冲突以缓解灾难性遗忘

利用token级熵作为门控机制，区分不确定性学习与知识冲突，在保持领域适应性的同时缓解灾难性遗忘。

前置知识

灾难性遗忘

神经网络在学习新任务时严重遗忘旧任务知识的现象，由McCloskey和Cohen于1989年首次系统描述。在大语言模型的持续学习中表现为：模型在针对特定领域（如数学推理、医疗诊断、工具调用）进行监督微调后，其在通用基准测试（如MMLU、IFEval）上的性能显著下降。遗忘的根本原因是模型参数被大幅更新以拟合新数据，导致原有知识表示被覆盖或扭曲。

本文的核心问题就是SFT引发的灾难性遗忘，理解这一概念是理解论文动机的关键。

监督微调（SFT）

Supervised Fine-Tuning的简称，是大语言模型后训练的标准范式。给定预训练基础模型theta和目标数据集D = {(x, y)_i}_{i=1}^N，SFT通过最小化交叉熵损失来最大化目标序列的似然概率。SFT属于off-policy方法，使用外部标注数据（如人类标注或强教师模型生成）进行训练。这种方法的固有局限是对所有token一视同仁，不管模型的先验知识或不确定性如何都强制拟合，容易导致记忆化和过拟合。

SFT是论文要改进的对象，理解其工作原理和缺陷是理解EAFT创新点的基础。

预测熵

衡量模型预测不确定性的信息论指标。对于第t个token，给定条件上下文x, y_{= 2.0）表示模型对多个候选token犹豫不决，面临语义分支点；低熵（如H_t <= 0.5）表示模型对某个预测非常确信。论文中使用Top-K近似（K=20）计算熵，即tilde{H}_t = H_{top-K,t} / ln(K)，在保持精度的同时显著降低计算开销。

熵是EAFT方法的核心信号，理解其数学定义和直观含义是理解EAFT如何区分不确定性与冲突的关键。

交叉熵损失

分类和序列生成任务中最常用的损失函数。对于序列生成任务，在第t步，模型的损失为L_t = -log P_theta(y_t|x, y_{<t})，其中y_t是真实标签token。当模型预测的概率P_theta(y_t|x, y_{<t})很低时，损失会产生非常大的梯度。例如，如果模型对某个token的概率为0.01，损失值为4.6；如果概率为0.5，损失仅为0.69。这种特性使得SFT会对低概率token施加强优化压力，尤其是当模型同时非常自信（低熵）时，会产生极具破坏性的梯度更新。

交叉熵损失的特性是Confident Conflicts问题产生的根源，理解这一点有助于理解EAFT为什么要用熵门控来抑制梯度。

Pareto最优

多目标优化中的一个核心概念，指在无法改善一个目标的同时不损害另一个目标的状态。在本文语境下，Pareto最优指的是在目标任务性能和通用能力保留之间达到最佳权衡：在保持相同或接近的目标任务表现的同时，最大程度地减少通用能力的下降。论文中通过可视化不同方法的性能分布，展示EAFT在Pareto前沿上占据了最佳位置，相比标准SFT（严重遗忘）和Masked SFT（目标性能下降）实现了真正的Pareto改进。

理解Pareto最优有助于理解论文的核心贡献：EAFT不是简单地在保留通用能力上更好，而是在学习和保留两个目标上同时达到了最优平衡。

研究动机

监督微调在领域适应中存在严重问题：当大语言模型在特定领域（如数学推理、医疗诊断、智能体工具调用）进行SFT后，虽然目标任务性能可能提升，但模型在其他通用能力上会遭受灾难性遗忘。例如，在实验中，Qwen3-4B模型经过数学SFT后，在CLUEWSC基准上从85.2分暴跌至74.5分，下降了10.7分；GLM4-9B模型在数学SFT后，通用能力平均分从76.6下降到70.6，下降了6.0分。这种对齐税现象在实际应用中极为致命，因为它意味着为了获得领域专长，必须牺牲模型的核心能力。这一问题的严重性在更大规模的模型上同样存在：Qwen2.5-32B在医疗领域SFT后，通用能力平均分从84.8下降到81.3，下降了3.5分。

本文的目标是本文的具体目标是揭示SFT导致灾难性遗忘的根本原因，并设计一种高效、通用的解决方案，能够在保持领域适应性能的同时，显著缓解通用能力的退化。论文通过系统性的实证分析，发现SFT与on-policy强化学习之间存在根本性的分布差异：SFT数据中存在大量Confident Conflicts token，即低熵（模型自信）但低概率（与标签不匹配）的样本。这些冲突token是触发破坏性梯度更新、导致知识表示扭曲的主要驱动力。基于这一发现，论文提出熵自适应微调方法，利用token级熵作为门控机制，动态调整训练损失，从而在抑制冲突梯度的同时，从不确定样本中有效学习。

与已有工作不同的是，本文的独特切入角度是从token级别的概率-熵联合分布视角来理解遗忘机制。以往的工作如DFT（Wu等人，2025）和TALR（Lin等人，2025）主要关注预测概率，通过重新加权损失来应对困难样本。然而，仅依赖概率是不足的：低概率token可能代表知识冲突（需要抑制），也可能代表认知不确定性（需要学习）。论文通过比较SFT数据和on-policy rollout数据的token级统计，发现了SFT数据中独特的Confident Conflicts簇（低熵+低概率），这在on-policy数据中几乎不存在。这一发现揭示了遗忘的根本原因：强制模型学习与其强先验信念冲突的样本，会产生极具破坏性的梯度更新。基于这一洞察，论文引入熵作为额外的维度，实现了真正的不确定性感知训练，这是与以往方法的本质区别。

核心方法

EAFT的核心直觉是：模型应该在不确定时学习，在自信时谨慎。具体技术路线是：将token级熵作为门控信号，与标准监督损失相结合，构建自适应损失函数。在训练过程中，对于高熵token（模型处于探索状态），EAFT保持正常的优化强度，促进新知识的学习；对于低熵token（模型处于强信念状态），EAFT大幅降低梯度强度，避免模型被强制改写其内部表示。这种机制自动区分了知识冲突（应该抑制）和认知不确定性（应该学习），实现了动态的、无超参数调优的训练过程。与依赖硬阈值或概率重加权的方法不同，EAFT使用软门控，在保护模型通用能力的同时，保留了目标领域的适应信号。

EAFT的核心创新点在于将预测熵作为门控机制来区分两种截然不同的低概率场景。在标准SFT中，低概率token会触发大梯度，但这些token的本质可能完全不同：一种是模型真正不确定、需要学习的场景（高熵+低概率），如复杂的推理步骤；另一种是模型非常自信但与标签冲突的场景（低熵+低概率），即Confident Conflicts。仅依赖概率的现有方法无法区分这两种情况，可能对应该学习的知识进行抑制，或者对应该抑制的冲突进行强化。EAFT通过熵这一维度实现了精确区分：高熵时权重接近1，恢复标准SFT；低熵时权重接近0，抑制冲突梯度。这种设计使得EAFT能够在保持目标任务性能的同时，最大程度地减少通用能力的损失。

方法步骤详情

EAFT方法的完整步骤如下：首先，在训练的每一步，对于输入序列x和目标序列y = (y_1, ..., y_T)，模型计算每个token的预测概率p_t = P_theta(y_t|x, y_{<t})。然后，计算token级的预测熵，为了计算效率，使用Top-K近似：tilde{H}_t = H_{top-K,t} / ln(K)，其中H_{top-K,t}是Top-K概率分布的熵，K=20，归一化因子ln(K)确保熵值在[0,1]范围内。接下来，构建熵自适应损失：L_EAFT(theta) = -sum_{t=1}^T tilde{H}_t * log P_theta(y_t|x, y_{<t})。这个公式可以分解为两个部分：tilde{H}_t作为自适应门控信号，log P_theta(y_t|x, y_{<t})是标准监督信号。最后，通过反向传播更新模型参数。在训练过程中，当tilde{H}_t to 0（低熵，模型自信）时，梯度被抑制，避免破坏性更新；当tilde{H}_t to 1（高熵，模型不确定）时，恢复标准SFT，促进新知识学习。

技术新颖性

EAFT的技术新颖性体现在三个方面：第一，首次将预测熵明确用作SFT中的门控机制，与依赖概率或KL散度的现有方法形成本质区别。熵作为不确定性的直接度量，能够精准识别模型的内部信念状态，而不仅仅是预测准确度。第二，EAFT使用了Top-K熵近似策略（K=20），在保持与完整词汇表熵计算Pearson相关系数达到0.999的高精度的同时，将计算开销降低到几乎可以忽略（小于0.4 KB额外内存）。这一设计使得EAFT在工程上完全可行，不会像需要冻结参考模型的SFTKL那样引入显著的内存负担。第三，EAFT采用了线性门控函数L = tilde{H}_t * L_CE，相比Sigmoid门控等方法具有零超参数的优势，实现了真正的开箱即用鲁棒性，在不同领域、不同规模模型上无需调参即可达到最优效果。

**Figure 3**: 梯度幅值景观。左侧：SFT对Confident Conflicts（左下角）施加强优化压力（深紫色）。右侧：EAFT有效抑制这些梯度（浅黄色），保护模型的现有表示。

**Figure 4**: token子组的训练动态。EAFT在高熵token上匹配SFT，同时在低熵冲突上保持损失稳定，防止对冲突先验的过度优化。高熵和低熵分别对应>= 2.0和<= 0.5的值。

**Figure 6**: 近似精度与内存成本的权衡。红色实线（左轴）显示Top-K与精确熵之间的Pearson相关系数，在K=20时迅速饱和至0.999。蓝色虚线（右轴）跟踪额外的内存开销。绿色阴影区域突出显示K=20为最佳工作点，实现了近乎完美的保真度且计算成本可忽略不计。

**Figure 7**: 按熵和概率分类的token词云。(a) 高熵token通常对应推理步骤。(b) 低熵token对应语法和固定模式。(c) Confident Conflicts token通常涉及特定实体或数据噪声。在这些可视化中，单词大小表示频率，颜色表示熵。

实验结果

EAFT在广泛的实验设置下验证了其有效性。在数学领域，使用Qwen3-4B-Instruct模型，EAFT在Math平均分上达到69.3分，与标准SFT的69.4分几乎相同，但在General平均分上达到80.1分，相比SFT的76.5分提升了3.6分，相比其他基线（SFTKL: 79.6分, FLOW: 79.1分, DFT: 78.1分, TALR: 76.2分）也 consistently 更优。在更大规模的Qwen2.5-32B模型上，EAFT的Math平均分为65.5分，与最佳基线SFT的66.5分仅差1.0分，但General平均分为83.7分，相比SFT的81.6分提升了2.1分，相比SFTKL的80.9分提升了2.8分。在GLM4-9B模型上，EAFT的Math平均分为39.4分，相比SFT的40.1分仅下降0.7分，但General平均分为72.7分，相比SFT的70.6分提升了2.1分。在医疗领域，使用Qwen3-4B-Thinking模型，EAFT在Medical平均分上达到73.7分，相比SFT的73.6分略有提升，在General平均分上达到84.5分，相比SFT的81.3分提升了3.2分。在智能体工具调用领域，EAFT在BFCL v3基准上达到60.8分，相比SFT的61.4分仅下降0.6分，但在General平均分上达到77.5分，相比SFT的74.8分提升了2.7分。这些实验结果充分证明了EAFT的普适性和鲁棒性：它在不同模型家族（Qwen、GLM）、不同规模（4B-32B）、不同领域（数学、医疗、智能体）上 consistently 展现出了在保持目标性能的同时缓解灾难性遗忘的能力。

**Table 1**: 目标领域和通用领域基准测试的主要结果。我们在AIME24、AIME25和GSM8K上评估训练目标的性能，同时在MMLU、IFEval和CLUEWSC上评估通用能力。最优的两个结果被加粗和下划线标注。所有结果均为三次独立运行的平均值。

**Table 2**: 目标领域和通用领域基准测试的结果。我们在MedMCQA、MedQA和PubMedQA上评估医疗领域的性能，同时在MMLU、IFEval和CLUEWSC上评估通用能力。

**Table 3**: 目标领域和通用领域基准测试的结果。我们在BFCL上评估智能体工具调用领域的性能，同时在MMLU、IFEval和CLUEWSC上评估通用能力。

**Figure 2**: (a) 掩码Confident Conflict token（熵和概率均处于底部15%）有效缓解了标准SFT中观察到的通用能力退化。(b) 在Math、Medical和Agent领域，EAFT在目标任务改进上匹配SFT（上方柱状图），同时显著最小化通用基准上的性能下降（下方柱状图）。

**Figure 5**: Pareto权衡分析。与Masked SFT（目标分数下降）或标准SFT（严重遗忘）不同，EAFT变体 consistently 占据最优的右上前沿。这证实了软熵门控在保持通用能力的同时不损害目标领域适应性。

查看结构化数据

任务	指标	本文	基线	提升
数学推理（AIME24, AIME25, GSM8K）	平均准确率（%）	69.3	69.4 (标准SFT)	目标任务基本持平，通用能力+3.6%
通用能力（MMLU, IFEval, CLUEWSC）	平均准确率（%）	80.1	76.5 (标准SFT)	3.6个百分点
医疗问答（MedMCQA, MedQA, PubMedQA）	平均准确率（%）	73.7	73.6 (标准SFT)	目标任务+0.1%，通用能力+3.2%
智能体工具调用（BFCL v3）	准确率（%）	60.8	61.4 (标准SFT)	目标任务-0.6%，通用能力+2.7%

局限与改进

作者承认的局限性包括：首先，EAFT主要设计用于领域适应和持续学习场景，其目标是扩展模型能力而不抹除现有知识。对于需要知识编辑或反事实训练的场景（如教模型天空是绿色的或纠正过时事实），EAFT并不适用。在这些情况下，模型对Confident Conflicts的抵抗恰恰是需要被克服的，而EAFT会将这些必要的更新解释为冲突并抑制它们，阻碍预期的学习。其次，EAFT不追求在目标任务指标上超越标准SFT。在实验中，EAFT实现的是Pareto改进：在保持高通用能力的同时，接近但不一定超越SFT的峰值专业化性能。对于最大化目标任务性能是唯一优先级的应用场景，不考虑其他领域的性能下降，标准SFT可能仍然是首选。最后，EAFT依赖于基础模型的质量假设，即模型的高置信先验代表值得保留的有价值通用知识。如果基础模型存在校准不当的置信度（如自信错误或幻觉），EAFT可能会无意中保护这些错误行为。

独立分析的弱点

从独立分析的角度来看，EAFT存在以下潜在弱点：第一，熵作为门控信号的假设可能不总是成立。在某些情况下，模型可能对错误答案保持高熵（如在处理多选题时，模型对多个错误选项都不确定），这时EAFT可能会错误地保持高权重，加剧错误知识的固化。改进方向是引入更精细的不确定性估计，如集成不确定性或基于梯度的不确定性度量，结合熵形成更鲁棒的门控信号。第二，Top-K近似虽然高效，但在极端情况下可能丢失重要的长尾信息。当模型的真实分布非常平坦时，仅考虑Top-20 token可能会低估熵，导致对应该学习的token被过度抑制。改进方向是设计自适应的K值选择机制，根据分布的稀疏程度动态调整K值。第三，EAFT的线性门控函数虽然简单鲁棒，但在某些任务上可能不够灵活。例如，在需要快速适应全新领域的场景下，可能需要更激进的更新策略。改进方向是引入任务相关的门控函数，如基于领域相似度的动态调整。

未来方向

未来研究方向可以从以下几个维度展开：首先，探索不确定性校准技术来区分真实知识和自信幻觉。当前EAFT假设高置信度等于高质量知识，但这不一定总是成立。未来工作可以结合外部验证信号（如可验证的推理步骤、外部知识库检索）或一致性检查（如多次采样的自洽性），构建更精确的信任度度量，作为熵门控的补充。其次，研究EAFT与其他后训练方法的结合。例如，将EAFT与强化学习（RL）结合，在RL阶段使用熵门控来稳定训练；或者将EAFT与检索增强生成（RAG）结合，在生成过程中动态注入外部知识以补充被抑制的冲突信号。第三，扩展EAFT的应用场景。当前EAFT主要应用于序列生成任务，未来可以探索其在视觉-语言模型、多模态模型中的应用，以及在不同模态间的迁移学习中的作用。最后，深入研究EAFT的内在机制。当前的解释主要是现象层面的，未来工作可以从理论层面分析EAFT如何影响模型的参数更新方向、表示空间结构，以及如何避免知识表示的扭曲。

复现评估

EAFT的复现情况良好，论文提供了完整的开源代码（GitHub: https://github.com/PRIS-CV/EAFT）。实验设置透明：所有方法使用统一的超参数，包括学习率1×10^-5、余弦学习率调度器、预热步数比例为0.03、AdamW优化器、批大小64、训练10个epoch、最大序列长度16384。论文使用了多个开源数据集，包括NuminaMath、BigMathVerified、Nemotron-CrossThink（数学）、Huatuo-O1（医疗）、Nemotron-Agentic-Tool-Use-v1（智能体），并提供了数据合成和选择的详细描述。评估基准涵盖了多个开源标准数据集，包括AIME24/25、GSM8K（数学）、MedMCQA、MedQA、PubMedQA（医疗）、BFCL v3（智能体）、以及MMLU、IFEval、CLUEWSC（通用能力），所有评估结果都是三次独立运行的平均值。算力要求适中：所有实验在8张NVIDIA A100 GPU上完成，与标准SFT相比，EAFT的计算开销几乎可以忽略（Top-20近似的额外内存小于0.4 KB）。总体而言，EAFT的复现难度较低，代码、数据、超参数完全公开，研究者可以轻松复现和扩展。

熵自适应微调：解决置信冲突以缓解灾难性遗忘 Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting