← 返回 2026-03-24

mSFT：在多任务监督微调中异构地解决数据混合过拟合问题 mSFT: Addressing Dataset Mixtures Overfiting Heterogeneously in Multi-task SFT

Woosung Koh, Jeyoung Jeon, Youngjin Song, Yujin Cheon, Soowon Oh, Jaehyeong Choi, Se-Young Yun 📅 2026-03-23 👍 39 2026-07-13 08:36
多任务学习 大语言模型训练 数据混合优化 监督微调 过拟合检测
arXiv HuggingFace PDF

提出迭代式过拟合感知搜索算法，动态排除过拟合子数据集以优化多任务SFT

前置知识

监督微调（SFT）

监督微调是大语言模型训练流程中的关键阶段，发生在预训练之后。在SFT阶段，模型使用人工标注的指令-回答对进行训练，使其学会遵循用户指令并生成高质量回答。多任务SFT则同时使用来自不同任务（如数学推理、常识问答、科学知识等）的子数据集进行训练，以避免顺序训练带来的灾难性遗忘问题。当前主流做法是将所有子数据集随机混合，对所有任务分配相同的训练轮数（compute budget）。

理解SFT是理解本文的前提，因为MSFT正是针对多任务SFT中数据混合策略的优化。

过拟合与最优停止点

过拟合指模型在训练数据上表现持续提升，但在验证集/测试集上的泛化性能开始下降的现象。每个子数据集都有一个最优停止点 $c^*_i$，即模型在该任务的测试集上达到最高性能时的训练计算量。传统做法通过保存中间检查点、在验证集上评估来找到这个全局最优停止点，但假设所有子数据集共享同一个最优停止点。

本文的核心发现是不同子数据集的最优停止点存在显著异构性，这是MSFT方法的理论基础。

灾难性遗忘

灾难性遗忘是指神经网络在学习新任务时，对先前已学任务的性能急剧下降的现象。在多任务SFT中，当排除某个子数据集后继续训练，模型可能会遗忘该任务相关的能力。MSFT通过硬排除（hard exclusion）策略移除过拟合的子数据集，这可能引发一定程度的遗忘，但论文证明过拟合避免带来的收益远大于遗忘造成的损失。

理解灾难性遗忘有助于理解MSFT方法中排除策略的权衡，以及为什么不能简单地顺序训练每个子数据集。

FLOPs与训练计算量

FLOPs（浮点运算次数）是衡量模型训练计算成本的标准指标。论文指出SFT阶段的计算量仅占整个训练流程（预训练+中期训练+后训练）的约0.01%，这意味着在SFT阶段进行额外的搜索和优化所带来的计算开销相对于整体训练成本是微不足道的。计算预算 $C$ 是MSFT的唯一超参数，类似于训练轮数但更细粒度（如1/4个epoch）。

理解计算量的分布有助于理解为什么在SFT阶段进行额外优化是合理的，以及MSFT的计算开销分析。

梯度冲突

在多任务学习中，不同任务的梯度方向可能存在冲突——优化一个任务的参数更新可能会损害另一个任务的表现。当某些子数据集已经过拟合后，它们产生的梯度变得噪声化和过度专业化，会干扰其他仍在学习的任务。MSFT通过动态排除这些过拟合子数据集，缓解了梯度冲突，使优化器能更高效地最小化剩余任务的损失。

梯度冲突是理解为什么MSFT能同时降低训练损失并提升性能的关键机制。

研究动机

当前大语言模型的多任务监督微调（SFT）普遍采用同质化训练范式，即对所有子数据集分配相同的训练计算量。论文通过分析Magistral、OLMo、DeepSeek、Qwen等主流开源模型家族，发现它们无一例外地采用这种同质化策略（见Table 1）。然而，这种做法存在根本性缺陷：不同子数据集具有异构的学习动态。论文以Qwen3 8B模型为例，在10个子数据集（CommonsenseQA、OpenBookQA、AQUA-RAT、GSM8K、SciQ、ARC-Easy、HellaSwag、Winogrande、BoolQ、MedMCQA）上进行实验，发现各子数据集达到最优性能的训练轮数差异巨大，平均绝对差异达到1.93个epoch（见Figure 2b）。例如，AQUA-RAT在0.50个epoch就达到峰值，而MedMCQA需要3.75个epoch。这种异构性导致同质化训练必然产生次优结果：学习速度快的任务过早过拟合，而学习速度慢的任务仍然欠拟合。

本文的目标是本文的目标是提出一种异构化的多任务SFT训练算法，能够为每个子数据集动态确定最优的训练计算量，从而最大化模型在多样化数据混合上的整体性能。具体而言，作者希望：(1) 实证验证子数据集过拟合的异构性假设；(2) 设计一种迭代式搜索算法，在训练过程中动态识别并排除最早过拟合的子数据集；(3) 证明该方法在多种模型架构和规模上的一致性改进；(4) 展示方法对唯一超参数（计算预算 $C$）的鲁棒性，以及在低计算预算下同时实现性能提升和FLOPs节省的可能性。

与已有工作不同的是，论文指出，虽然已有工作探索了数据集选择（如哪些数据集应包含在SFT中）和混合比例优化（如DynamixSFT使用多臂老虎机），但这些方法要么假设所有任务共享相同的最优停止点，要么仅通过单次搜索近似最优计算量。论文特别分析了一种朴素方案——单次搜索SFT（SRO SFT），发现其根本局限在于：当排除第一个过拟合子数据集后，剩余任务的最优停止点会发生显著偏移（平均绝对偏移0.91个epoch，见Figure 3b）。这是因为排除子数据集改变了梯度聚合的方向（从 $\sum_{D_i \in D} w_i \nabla L(\theta_t; D_i)$ 变为 $\sum_{D_i \in D \setminus E} w_i \nabla L(\theta'_t; D_i)$），导致优化轨迹发散。MSFT的独特切入角度是采用迭代式回滚搜索，确保搜索阶段和训练阶段的动态保持一致。

核心方法

MSFT的核心思路是将多任务SFT建模为一个迭代式的过拟合检测与排除过程。直觉上，如果我们能实时监测每个子数据集的过拟合状态，并在某个子数据集过拟合时立即将其排除，就能避免过拟合带来的性能损害。但关键挑战在于：排除一个子数据集会改变剩余任务的最优停止点。因此，MSFT采用'搜索-回滚'的迭代策略：每轮训练后，识别最早过拟合的子数据集，回滚到该子数据集过拟合时的检查点，然后在排除该子数据集后重新开始搜索。这样，每轮搜索都是在当前活跃数据集上的精确搜索，而非基于历史信息的近似。整个过程从基础模型开始，维护一个排除集 $E$，循环直到所有子数据集都被处理。

MSFT的核心创新在于迭代式回滚机制，这与现有的单次搜索方法（如SRO SFT）有本质区别。单次搜索方法的局限性在于：搜索阶段找到的最优停止点 $c^*_i$ 是在完整数据混合上的近似值，当排除子数据集后，优化轨迹发生偏移（$\theta'_t \neq \theta_t$），导致预计算的最优停止点不再准确。论文通过实验证明，即使仅排除1/10的训练数据，剩余任务的最优停止点平均偏移0.91个epoch（Figure 3）。MSFT通过每次回滚到过拟合检查点后重新搜索，确保搜索动态与训练动态始终保持一致。这种设计的另一个关键优势是：MSFT在搜索阶段不引入额外的roll-out开销，因为搜索和训练是同一个过程的两个方面。

方法步骤详情

MSFT算法包含以下步骤：(1) 初始化排除集 $E = \emptyset$，模型参数 $\hat{\theta}$ 设为基础模型 $\theta_0$。(2) 当活跃子数据集集合 $D \setminus E$ 非空时，进入循环。(3) Roll-out阶段：在当前活跃子数据集 $D \setminus E$ 上，使用模型 $\hat{\theta}$ 进行训练，训练计算量为预设的计算预算 $C$（如1/4个epoch）。训练过程中记录每个活跃子数据集在每个检查点的准确率 $\text{acc}(D_i, c)$。(4) 对每个活跃子数据集，找到其最优停止点 $c^*_i = \arg\max_c \text{acc}(D_i, c)$。(5) 识别最早过拟合的子数据集：$c_{\min}, D_{\text{exclude}} = \arg\min_{D_i \notin E} c^*_i$。(6) 如果 $c_{\min} = C$（即没有子数据集在预算内过拟合），直接更新模型 $\hat{\theta} \leftarrow \theta(C)$ 并继续。(7) 否则，执行Roll-back：将 $D_{\text{exclude}}$ 加入排除集 $E$，并将模型回滚到过拟合检查点 $\hat{\theta} \leftarrow \theta(c_{\min})$。(8) 重复步骤2-7，直到所有子数据集都被处理或排除。

技术新颖性

MSFT的技术新颖性体现在多个层面。首先，它是第一个明确指出并实证验证多任务SFT中子数据集过拟合异构性的工作，这一发现挑战了当前同质化训练的范式假设。其次，迭代式回滚搜索机制是全新的设计——不同于DynamixSFT的单步roll-out或多臂老虎机方法，MSFT通过回滚确保搜索与训练的动态一致性。第三，MSFT严格在数据调度层面操作，避免了Gong et al. (2024)等方法需要的逐梯度干预和复杂超参数（如历史窗口、预热步数、温度参数）。第四，MSFT仅引入一个新超参数 $C$（计算预算），且实验表明对该超参数不敏感——降低 $C$ 不会导致性能下降，反而可以在低预算下实现FLOPs节省和性能提升的双赢。最后，论文提出的动态检查点剪枝算法（Appendix H）有效控制了存储开销，使平均存储占用约为SFT的4.44倍，这在存储成本远低于计算成本的现代训练中是可接受的。

Divergence of optimal compute upon dataset exclusion. Excluding a small fraction of the training mixture alters the optimization trajectory, shifting optimal stopping points for remaining tasks.
Figure 3: Divergence of optimal compute upon dataset exclusion. Excluding a small fraction of the training mixture alters the optimization trajectory, shifting optimal stopping points for remaining tasks.

实验结果

论文在6个基础模型（OLMo 2 1B、Qwen2.5 0.5B/1.5B/3B/7B、Qwen3 8B）和10个基准测试上进行了全面评估。核心发现如下：(1) MSFT在所有6个模型上的平均准确率均优于4个基线方法和2个消融基线，整体平均准确率达到63.7%，相比标准SFT（61.9%）提升+1.8个百分点，相比最强基线IES（62.5%）提升+1.2个百分点。(2) 在三大任务类别中均表现一致：Science & Knowledge提升+0.7%，Commonsense & Language提升+2.4%，Mathematical & Quantitative提升+3.0%。(3) MSFT在所有基准上的标准差最低（Figure 4左），表明性能提升来自均匀分布的收益而非少数异常值。MSFT在单个基准上获得第一名26次，是第二名IES（13次）的两倍（Figure 4右）。(4) 消融研究表明，朴素的单次搜索SRO SFT（63.4%）和软版本Soft SRO SFT（62.1%）均不及MSFT（63.7%），验证了迭代回滚的必要性。(5) 在不同数据规模（9K/18K/27K样本）和任务数量（5/10/15个任务）下，MSFT平均提升+5.4%，保持鲁棒性。(6) 在低计算预算 $C=1$ 下，MSFT实现+3.4%性能提升的同时减少120.3 PFLOPs计算量。(7) 在MedMCQA的21个子类别上，MSFT平均提升+1.86%，在药理学等专业领域提升高达+6.0%。

Status quo. Frontier open-weight models continue to employ homogeneous SFT, where all sub-datasets are trained on the same amount of compute.
Table 1: Status quo. Frontier open-weight models continue to employ homogeneous SFT, where all sub-datasets are trained on the same amount of compute.
Main results. Comparison of six methodologies across six underlying models (OLMo 2, Qwen2.5, and Qwen3), evaluating performance across three major task categories.
Table 2: Main results. Comparison of six methodologies across six underlying models (OLMo 2, Qwen2.5, and Qwen3), evaluating performance across three major task categories.
Ablation study results. Comparison of our proposed method (MSFT) against two naive alternative heterogeneous early-stopping algorithms averaged across six underlying models.
Table 3: Ablation study results. Comparison of our proposed method (MSFT) against two naive alternative heterogeneous early-stopping algorithms averaged across six underlying models.
Further details of main results. [left] MSFT achieves the lowest levels of standard deviation across benchmarks (STD), indicating performance gains are not due to large outliers. [right] Across models, MSFT achieves 1st place the most.
Figure 4: Further details of main results. [left] MSFT achieves the lowest levels of standard deviation across benchmarks (STD), indicating performance gains are not due to large outliers. [right] Across models, MSFT achieves 1st place the most.
Robustness across varying dataset sizes. Accuracy change of Continual SFT, IES, and MSFT relative to SFT.
Figure 5: Robustness across varying dataset sizes. Accuracy change of Continual SFT, IES, and MSFT relative to SFT.
Accuracy and FLOPs across compute budget. Accuracy gains and FLOPs decomposition of MSFT across different compute budgets (C).
Figure 6: Accuracy and FLOPs across compute budget. Accuracy gains and FLOPs decomposition of MSFT across different compute budgets (C).
Performance on further granular decompositions. Evaluating MSFT across MedMCQA sub-categories using Qwen2.5 3B.
Figure 7: Performance on further granular decompositions. Evaluating MSFT across MedMCQA sub-categories using Qwen2.5 3B.
Decomposition of performance gains. MSFT's accuracy improvement over SFT is decomposed into overfitting prevention benefits and dataset exclusion effects.
Figure 8: Decomposition of performance gains. MSFT's accuracy improvement over SFT is decomposed into overfitting prevention benefits and dataset exclusion effects.
Training loss curve comparison at 8B. Smoothed with moving average with sliding window 10.
Figure 9: Training loss curve comparison at 8B. Smoothed with moving average with sliding window 10.
查看结构化数据
任务指标本文基线提升
Science & Knowledge（跨6个模型平均） Accuracy (%) 63.2 62.5 (IES) +0.7%
Commonsense & Language（跨6个模型平均） Accuracy (%) 70.6 69.4 (IES) +2.4% (相对SFT) / +1.2% (相对IES)
Mathematical & Quantitative（跨6个模型平均） Accuracy (%) 51.0 48.0 (SFT) +3.0%
整体平均（跨10个基准、6个模型） Average Accuracy (%) 63.7 61.9 (SFT) +1.8%
Qwen2.5 3B 单独性能 Accuracy (%) 74.2 73.2 (SFT) +1.0%
MedMCQA子类别（Qwen2.5 3B） Average Accuracy (%) MSFT SFT +1.86%

局限与改进

论文承认的局限性包括：(1) 存储开销：MSFT需要保存中间检查点用于回滚，虽然论文提出了动态检查点剪枝算法（Appendix H），但平均存储占用仍约为SFT的4.44倍。不过作者认为在现代大模型训练中，存储成本远低于计算成本，这是可接受的权衡。(2) 硬排除策略的遗忘风险：MSFT采用硬排除（完全移除过拟合子数据集），这会导致一定程度的灾难性遗忘。论文通过分解分析（Figure 8）表明，虽然硬排除确实带来负面的遗忘效应（如在OLMo 2 1B上为-3.10%），但过拟合避免的收益（+7.50%）远大于遗忘损失。(3) 计算预算 $C$ 的选择：虽然论文证明MSFT对 $C$ 不敏感，但 $C$ 的最优值可能因任务组合和模型架构而异，需要一定的实验调优。(4) 实验规模限制：论文的最大模型为8B参数，未在更大规模（如70B+）模型上验证。此外，实验使用的是标准学术基准，可能无法完全代表真实工业场景的复杂性。从个人观察来看，MSFT的迭代搜索机制在子数据集数量较多时可能导致较长的训练周期，尽管每轮搜索的计算量不大，但累积的roll-out和回滚操作可能带来显著的wall-clock time开销。

独立分析的弱点

独立分析MSFT的弱点如下：(1) 硬排除策略的不可逆性：一旦子数据集被排除，其信息完全丢失，无法在后续训练中恢复。这在子数据集间存在强相关性时可能导致次优结果。改进方向：可以探索软排除策略，如逐渐降低被排除子数据集的采样权重而非完全移除，或引入知识蒸馏机制保留被排除任务的关键信息。(2) 过拟合检测的敏感性：MSFT通过比较验证集准确率来检测过拟合，但验证集的大小和质量会影响检测的准确性。在验证集较小或噪声较大的情况下，可能会误判过拟合时机。改进方向：可以结合多种过拟合指标（如训练损失与验证损失的差距、梯度范数变化等）进行更鲁棒的检测。(3) 计算预算 $C$ 的粒度选择：虽然论文证明MSFT对 $C$ 不敏感，但过粗的 $C$ 可能错过最优停止点，过细的 $C$ 会增加搜索开销。改进方向：可以设计自适应的 $C$ 调整策略，根据当前子数据集的过拟合速度动态调整搜索粒度。(4) 缺乏对子数据集间交互的建模：MSFT独立处理每个子数据集的过拟合，未考虑子数据集间的正向迁移或负向干扰。改进方向：可以引入任务相关性矩阵，优先排除与多数任务冲突的子数据集。(5) 对初始混合比例的依赖：MSFT假设输入的初始数据混合是合理的，但初始混合比例可能显著影响最终性能。改进方向：可以将MSFT与混合比例优化方法（如DynamixSFT）结合，在迭代搜索过程中同时优化混合比例。

未来方向

论文作者和基于本文成果可延伸的未来研究方向包括：(1) 作者提出的存储优化方向：进一步优化检查点管理策略，研究是否可以在不保存所有中间检查点的情况下实现等效的回滚功能，例如通过LoRA等参数高效微调技术减少检查点大小。(2) 扩展到更大规模模型：将MSFT应用于70B+甚至更大规模的模型，验证其在工业级训练中的可行性和效果。(3) 与RLHF/DPO的结合：论文主要关注SFT阶段，但现代LLM训练还包含强化学习从人类反馈（RLHF）和直接偏好优化（DPO）阶段。探索MSFT思想在这些阶段的应用是一个有价值的方向。(4) 自适应混合比例优化：将MSFT的迭代搜索与动态混合比例调整相结合，在排除子数据集的同时优化剩余任务的采样权重。(5) 任务相关性感知的排除策略：利用任务嵌入或梯度相似度来指导排除决策，优先排除与其他任务梯度冲突最大的子数据集。(6) 在线学习场景：将MSFT的思想扩展到持续学习场景，处理动态到达的新任务数据。(7) 理论分析：深入分析迭代回滚搜索的收敛性保证和最优性边界，为算法设计提供理论指导。

复现评估

论文的复现评估如下：(1) 开源情况：论文明确提到代码已开源（论文中有'§ Code'标记），这大大降低了复现难度。(2) 数据集：论文使用了10个公开可用的标准学术基准（CommonsenseQA、OpenBookQA、AQUA-RAT、GSM8K、SciQ、ARC-Easy、HellaSwag、Winogrande、BoolQ、MedMCQA），这些数据集都可以从HuggingFace或原始论文作者处获取，数据可获得性良好。(3) 基础模型：论文使用了6个公开可用的预训练模型（OLMo 2 1B、Qwen2.5系列、Qwen3 8B），这些模型均可从HuggingFace下载，但需要注意的是这些模型的使用许可可能限制商业用途。(4) 算力需求：论文的最大模型为8B参数，在10个子数据集上进行多轮迭代搜索，计算需求中等偏高。根据论文的FLOPs分析，MSFT在低计算预算（$C=1$）下甚至可以减少120.3 PFLOPs的计算量，这对资源有限的研究者是一个好消息。(5) 复现难度：中等。算法本身不复杂（核心是迭代搜索和回滚），但需要仔细实现过拟合检测、检查点管理和评估流程。论文提供了伪代码（Algorithm 1），有助于理解实现细节。(6) 关键注意事项：论文使用5-shot评估、贪心解码，评估间隔为1/4个epoch，这些细节对复现一致的结果很重要。

论文图表

SFT is compute-light. Using OLMo 2 as an example, SFT is relatively compute-light, and therefore additional compute usage at this stage is negligible.
Figure 1: SFT is compute-light. Using OLMo 2 as an example, SFT is relatively compute-light, and therefore additional compute usage at this stage is negligible.

左图展示了OLMo 2模型在整个训练流程（预训练、中期训练、后训练）中各阶段的FLOPs占比，SFT阶段仅占约0.01%。右图进一步展示了后训练阶段内部（RLVR、SFT、DPO）的FLOPs分布，SFT在后训练中也只占很小比例。这表明在SFT阶段进行额外优化的计算开销相对于整体训练成本是微不足道的。

该图为MSFT的可行性提供了关键支撑——既然SFT阶段的计算成本如此之低，那么在该阶段进行迭代搜索的额外开销就是合理的。这是反驳'MSFT计算成本过高'质疑的有力论据。

Heterogeneous learning dynamics. Multi-task SFT on Qwen3 8B demonstrates that underlying sub-datasets overfitting dynamics vary greatly.
Figure 2: Heterogeneous learning dynamics. Multi-task SFT on Qwen3 8B demonstrates that underlying sub-datasets overfitting dynamics vary greatly.

Figure 2a展示了Qwen3 8B模型在10个子数据集上的测试集准确率随训练轮数变化的曲线，每条曲线标注了峰值性能出现的轮数。Figure 2b展示了整体混合数据集的最优轮数与各子数据集最优轮数的绝对差异，平均差异为1.93个epoch。例如，AQUA-RAT在0.50个epoch达到峰值，而MedMCQA在3.75个epoch达到峰值，差异高达3.25个epoch。

这是论文最核心的实证发现——不同子数据集的过拟合动态存在显著异构性。Figure 2a直观展示了各子数据集的训练曲线差异，Figure 2b量化了这种差异的程度。这是MSFT方法的直接动机。