数据重复优于数据扩展：长链式推理监督微调的新范式

固定更新预算下，少样本多轮训练比多样本单轮训练显著提升推理性能

前置知识

监督微调 (Supervised Fine-Tuning, SFT)

SFT 是大语言模型后训练的关键阶段，通过在标注好的输入-输出对上进行有监督学习来调整预训练模型的行为。具体来说，给定输入 $x$ 和目标输出序列 $y = (y_1, ..., y_T)$，模型通过最小化交叉熵损失 $\mathcal{L}(\theta) = -\sum_{t=1}^{T} \log p_\theta(y_t | x, y_{<t})$ 来学习。在推理模型的训练中，SFT 通常使用从更强模型蒸馏而来的长链式推理（long-CoT）示范数据，这些数据包含详细的中间推理步骤，帮助模型学会如何进行多步推理。SFT 为后续的强化学习阶段奠定了基础。

本文的核心研究对象就是 SFT 阶段的训练策略选择，理解 SFT 的基本机制是理解本文实验设计和结论的前提

链式推理 (Chain-of-Thought, CoT)

链式推理是一种让语言模型在给出最终答案前展示完整推理过程的技术。长链式推理（long-CoT）特指那些推理链长达数千个 token 的复杂推理过程，通常包含自我反思、尝试不同方法、验证中间结果等步骤。在训练数据中，这些推理链通常用和标签包裹。长链式推理数据的获取成本很高，要么需要昂贵的人工标注，要么需要从更大的模型进行蒸馏（包括生成、过滤和验证过程）。

本文研究的是长链式推理 SFT 数据的使用效率问题，这类数据的高获取成本使得本文的研究具有重要的实际意义

更新预算 (Update Budget)

更新预算 $B$ 指的是训练过程中的总梯度更新次数，在 batch size 为 1 时等于训练轮数（epochs）乘以唯一样本数（samples）。通过固定更新预算，可以隔离数据重复对训练效果的影响，排除总优化步数差异的干扰。例如，$B = 51200$ 可以是 $1 \times 51200$，也可以是 $16 \times 3200$，前者看到的唯一数据更多，后者对每条数据的重复学习更多。

本文的核心实验设计就是基于固定更新预算来比较不同 epoch-sample 组合的效果，这是理解实验结论的关键

终止率 (Termination Rate)

终止率衡量的是模型生成的推理链能够正常结束（输出 end-of-sequence token）而非被截断的比例。在推理任务中，模型需要在完成推理后输出最终答案，如果推理链过长被截断（通常在 30k token 限制处），就无法提取到有效答案。终止率与模型学会在适当时候结束推理链的能力直接相关，是衡量模型是否成功内化推理结构的重要指标。

本文发现终止率与准确率高度相关，是理解'重复优势'现象因果机制的关键线索

Pass@n 与 Acc@n

Pass@n 表示在 n 次独立采样中至少有一次正确解决问题的比例，衡量的是模型的潜力上限；Acc@n 表示 n 次采样的平均准确率，衡量的是模型的稳定表现。例如，对于 AIME 竞赛题，每个问题生成 16 个独立回答（$n=16$），Pass@16 关注的是'至少有一条推理路径能解对'，而 Acc@16 关注的是'平均而言有多少条路径能解对'。

论文使用这两个指标全面评估模型的推理性能，理解它们的区别对于解读实验结果至关重要

研究动机

在现代大语言模型的训练流程中，监督微调（SFT）是连接预训练和强化学习的关键环节，对于推理模型尤为如此。然而，获取高质量的长链式推理 SFT 数据代价高昂：这些数据要么需要昂贵的人工标注，要么需要从更大的模型进行蒸馏，包括生成、过滤和验证复杂的推理过程。现有的主流做法遵循传统机器学习的直觉——用尽可能多的唯一样本来训练，例如 OLMo 3 使用超过 200 万个 SFT 样本训练 2 个 epoch，DeepSeek-R1 在数百万样本上训练 2-3 个 epoch。这种'最大化数据量'的策略假设每个新样本都能提供关于数据分布的独立信息，更多的唯一样本必然带来更好的泛化。但在数据受限的场景下（这是实际应用中的常见情况），这种策略是否最优？是否真的需要海量数据才能有效学习推理能力？

本文的目标是本文的核心目标是系统性地研究在固定计算预算下，数据重复（增加 epoch 数）与数据扩展（增加唯一样本数）两种策略对长链式推理 SFT 效果的影响。具体而言，作者希望回答三个关键问题：第一，在相同的梯度更新次数下，用较少的样本训练多个 epoch 是否能比用更多的样本训练 1 个 epoch 取得更好的推理性能？第二，如果重复训练确实有效，是否存在可靠的停止信号来判断何时重复已经饱和？第三，这种'重复优势'现象是否依赖于特定的模型、数据集或训练设置，还是具有普遍性？

与已有工作不同的是，虽然之前的研究已经在预训练阶段探讨过数据重复的问题（如 Muennighoff et al. 2023 提出的数据受限缩放定律），并且发现重复少量 epoch 可以接近用新鲜数据训练的效果，但这些研究主要关注预训练损失而非下游推理性能。在后训练阶段，虽然多个实际训练管线已经采用了多 epoch SFT（如 LIMO 训练 15 个 epoch、s1 训练 5 个 epoch），但 epoch 数通常被视为'配方细节'而非经过消融验证的设计选择。本文的独特切入角度在于：首次在控制变量的条件下，系统性地对比 epoch 缩放与数据缩放在长链式推理 SFT 中的效果，并深入探究'重复优势'背后的训练动态机制，特别是记忆化、终止行为和过拟合之间的关系。

核心方法

本文的方法设计简洁而系统：在固定的总梯度更新预算下，通过改变 epoch 数和唯一样本数的组合来隔离'数据重复'的效果。直觉上，如果传统的'更多数据更好'的假设成立，那么在固定计算量下，$1 \text{ epoch} \times 51200 \text{ samples}$ 应该优于 $16 \text{ epochs} \times 3200 \text{ samples}$。但实验结果恰恰相反：更少的样本配合更多的 epoch 取得了显著更好的性能。技术路线上，作者构建了嵌套的训练子集（从 200 到 51200 个样本，每个较小子集都是较大数据集的子集），对每个数据规模训练 1 到 256 个 epoch，使得任意两个配置如果满足 $\text{epochs} \times \text{samples} = \text{常数}$，就拥有相同的更新预算。这种方法使得不同 epoch-sample 配置之间的比较完全公平，排除了总优化步数差异的干扰。

本文的核心创新在于揭示了一个反直觉的现象：在长链式推理 SFT 中，数据重复不仅不比数据扩展差，反而显著优于后者。具体而言，在更新预算 $B = 51200$ 下，Olmo3-7B 在 3200 个样本上训练 16 个 epoch 达到 42.3% 的 AIME'24 平均准确率，而 1 个 epoch 训练 51200 个样本仅达到 17.7%，差距高达 24.6 个百分点。更重要的是，作者发现训练 token 准确率是一个可靠的停止信号：当模型在训练数据上达到近乎完美的记忆化时，下游性能的提升就会饱和。这为实际应用提供了一个可操作的指导原则：不需要盲目增加数据量，而是可以通过增加 epoch 数并监控训练准确率来高效利用有限数据。

方法步骤详情

本文的实验方法包含以下具体步骤：首先，数据准备阶段，使用 Dolci SFT 7B 数据集（来自 OLMo3 后训练管线的蒸馏长链式推理数据，涵盖数学、代码、精确指令遵循和通用对话），经过滤后保留包含完整推理链的样本并剔除超过 10k token 的样本，然后随机采样嵌套子集（200, 400, 800, 1.6k, 3.2k, 6.4k, 12.8k, 25.6k, 51.2k 个样本，每个较小集合是较大集合的子集），同时留出 1000 个样本作为验证集。其次，训练阶段，使用 Qwen3-4B、Qwen3-8B 和 Olmo3-7B 三个基础模型（未经指令调优的预训练检查点），以 bfloat16 精度加载，使用 Unsloth 优化内核和 8-bit Adam 优化器，学习率通过 1 epoch 51200 样本的网格搜索选定（Olmo3-7B 和 Qwen3-8B 为 $2 \times 10^{-5}$，Qwen3-4B 为 $3 \times 10^{-5}$），余弦学习率调度，warmup 占总更新步数的 10%，batch size 为 1。每个配置独立从基础检查点开始训练，拥有自己的 warmup 和学习率调度。第三，评估阶段，在 AIME 2024、AIME 2025 和 GPQA 三个推理基准上评估，每个问题生成多个独立回答（AIME 16 个，GPQA 4 个），使用 vLLM 进行高效推理，最长生成 30k token，报告 Acc@n、Pass@n 和终止率三个指标。

技术新颖性

本文的技术新颖性体现在多个层面。首先，在方法论层面，通过精心设计的'固定更新预算'实验范式，首次在控制变量的条件下系统性地研究了 SFT 中 epoch 数与数据量的权衡关系，这不同于之前要么只关注预训练数据重复、要么将 epoch 数作为未消融的配方参数的处理方式。其次，在发现层面，揭示了'重复优势'这一反直觉现象，即在推理 SFT 中完全记忆化（训练 token 准确率达到 100%）与更好的泛化性能同时出现，这与深度学习中'记忆化有害于泛化'的经典认知形成了有趣的对比。第三，在实践层面，提出训练 token 准确率作为 epoch 缩放的实用停止准则，并证明了终止率（模型学会结束推理链的能力）可能是性能提升的主要驱动力，这些观察为理解 SFT 的训练动态提供了新的视角。最后，作者还将研究扩展到正负轨迹对比，发现错误推理链的训练不仅不会损害性能，有时甚至能达到与正确推理链相当的效果，这进一步挑战了'数据质量决定一切'的传统观点。

实验结果

本文的核心实验发现可以归纳为以下几个方面。第一，在固定更新预算 $B = 51200$ 下，所有三个模型（Olmo3-7B、Qwen3-8B、Qwen3-4B）在所有三个基准（AIME'24、AIME'25、GPQA）上都表现出一致的'重复优势'：16 epoch 训练 3200 个样本显著优于 1 epoch 训练 51200 个样本。以 Olmo3-7B 为例，AIME'24 的 Acc@16 从 17.7% 提升到 42.3%（+24.6pp），GPQA 的 Acc@4 从 11.5% 提升到 34.0%（+22.5pp）；Qwen3-8B 的提升更为显著，AIME'24 从 12.3% 到 30.6%（+18.3pp），GPQA 从 21.6% 到 51.0%（+29.4pp）。第二，性能提升在 32-64 个 epoch 附近饱和，这与训练 token 准确率达到接近 100% 的时间点高度吻合。以 Olmo3-7B 为例，在 $B = 51200$ 下，16 个 epoch 时 token 准确率为 98.0%，对应的平均 Acc@n 为 38.5%；64 个 epoch 时 token 准确率达到 100.0%，Acc@n 为 38.9%，几乎没有进一步提升。第三，终止率与准确率高度相关：单 epoch 模型的终止率仅约 24%，而 32 epoch 模型达到 89%，这意味着重复训练帮助模型内化了推理链的结构规范，学会了在适当时候结束推理并给出答案。第四，教师模型质量影响绝对性能但不影响重复优势的稳健性——使用 Qwen3-0.6B 和 Qwen3-8B 作为教师模型时，重复优势都存在，但使用更强教师模型时整体性能更高。第五，训练在错误推理链（负轨迹）上不仅不会损害性能，在 AIME'24 和 GPQA 上甚至略优于训练在正确推理链上（40.0% vs 38.8% 和 29.3% vs 23.4%），可能是因为错误轨迹来自更难的问题，接触困难推理尝试对模型也有益处。

**Table 1**: 固定更新预算 $B = 51200$ 下各模型的性能对比

**Figure 2**: Olmo3-7B 在长链式推理 SFT 数据上缩放 epoch 与缩放数据的效果对比

**Figure 7**: Olmo3-7B 在 Dolci 数据集上的完整结果

**Figure 9**: Qwen3-4B 在 Dolci 数据集上的完整结果

**Figure 11**: Qwen3-8B 教师蒸馏数据上的完整结果（Olmo3-7B）

查看结构化数据

任务	指标	本文	基线	提升
AIME 2024 数学竞赛	Acc@16	42.3% (Olmo3-7B, 16ep/3.2k) / 30.6% (Qwen3-8B, 16ep/3.2k)	17.7% (Olmo3-7B, 1ep/51.2k) / 12.3% (Qwen3-8B, 1ep/51.2k)	+24.6pp / +18.3pp
AIME 2025 数学竞赛	Acc@16	39.2% (Olmo3-7B, 16ep/3.2k) / 31.2% (Qwen3-8B, 16ep/3.2k)	22.3% (Olmo3-7B, 1ep/51.2k) / 11.2% (Qwen3-8B, 1ep/51.2k)	+16.9pp / +20.0pp
GPQA 研究生级科学问答	Acc@4	34.0% (Olmo3-7B, 16ep/3.2k) / 51.0% (Qwen3-8B, 16ep/3.2k)	11.5% (Olmo3-7B, 1ep/51.2k) / 21.6% (Qwen3-8B, 1ep/51.2k)	+22.5pp / +29.4pp
AIME 2024 数学竞赛	Pass@16	80.0% (Olmo3-7B, 16ep/3.2k) / 76.7% (Qwen3-8B, 16ep/3.2k)	46.7% (Olmo3-7B, 1ep/51.2k) / 36.7% (Qwen3-8B, 1ep/51.2k)	+33.3pp / +40.0pp
AIME 2025 数学竞赛	Pass@16	63.3% (Olmo3-7B, 16ep/3.2k) / 63.3% (Qwen3-8B, 16ep/3.2k)	50.0% (Olmo3-7B, 1ep/51.2k) / 30.0% (Qwen3-8B, 1ep/51.2k)	+13.3pp / +33.3pp
GPQA 研究生级科学问答	Pass@4	62.1% (Olmo3-7B, 16ep/3.2k) / 72.7% (Qwen3-8B, 16ep/3.2k)	23.7% (Olmo3-7B, 1ep/51.2k) / 38.9% (Qwen3-8B, 1ep/51.2k)	+38.4pp / +33.8pp

局限与改进

本文的局限性主要体现在以下几个方面。首先，作者坦承'重复优势'背后的因果机制尚不清楚——虽然训练 token 准确率、终止率和过拟合指标都是很好的相关信号，但无法确定哪个是根本原因。作者将此定位为一个'开放问题'，说明目前还缺乏理论解释。其次，最优的最小数据集大小是数据和模型依赖的，作者没有提供先验选择数据集大小的原则性方法，实践中仍需要通过实验来确定。第三，实验仅在 4B-8B 参数量级的模型上进行，更大模型（如 70B、400B+）是否也表现出相同的重复优势尚不清楚——更大的模型可能有不同的记忆和泛化动态。第四，评估基准主要集中在数学推理（AIME）和科学推理（GPQA）上，对于代码生成、创意写作等其他推理类型的适用性未被验证。第五，作者使用 batch size 为 1 的训练设置，这与大多数实际训练管线中使用较大 batch size 的做法不同，batch size 与 epoch 缩放的交互作用未被研究。第六，验证集上的损失在多 epoch 训练中持续上升，表明模型确实在过拟合训练分布，这可能在某些对鲁棒性要求高的应用中带来风险，但作者没有深入探讨这种过拟合对模型在分布外数据上表现的影响。

独立分析的弱点

从独立分析的角度来看，本文存在几个值得深入探讨的弱点。首先，关于终止率与性能的因果关系：作者观察到终止率与准确率高度相关，但没有进行控制实验来验证因果方向。一个直接的改进方向是设计实验，例如强制模型在固定 token 数后生成答案（绕过终止问题），来分离终止率对性能的独立贡献。其次，关于'记忆化=泛化'的悖论：作者用'能力激发而非能力获取'来解释这一现象，认为 SFT 激发了预训练模型中的潜在能力，但没有提供直接证据。可以设计实验来验证这一假说，例如检查多 epoch 训练后模型在推理步骤中是否使用了预训练阶段就存在的知识模式。第三，实验仅使用单个随机种子（RNG Seed 42），对于如此重要的发现，应该进行多次重复实验以评估结果的方差和统计显著性。第四，关于负轨迹的分析虽然有趣但较为初步——作者没有区分'推理过程正确但答案错误'与'推理过程也有严重错误'的样本，这两类负轨迹对学习的贡献可能完全不同。

未来方向

基于本文的发现，未来研究可以在多个方向上展开。首先，作者提出的'开放问题'——解释为什么在长链式推理 SFT 中记忆化与泛化同时发生——是一个重要的理论研究方向。可以借鉴 Feldman (2019) 关于长尾分布中记忆化对泛化的必要性的理论框架，结合 CoT 数据的结构特点来发展新的理论。其次，将'重复优势'的研究扩展到更大的模型（如 Llama-3 70B、Qwen3 235B）和更多样化的任务（代码生成、多轮对话、工具使用）上，以验证这一现象的普适性。第三，探索 epoch 缩放与强化学习（RL）阶段的交互作用——多 epoch SFT 训练出的模型在后续 RL 训练中是否也有优势？第四，开发自适应的 epoch 数选择算法，基于训练 token 准确率的实时监控来自动决定何时停止重复训练，而不是依赖固定的 epoch 数。第五，研究数据多样性与重复的最优平衡——是否可以在保持一定多样性的前提下适度重复？例如混合策略：大部分数据训练 1 个 epoch，少量高质量数据训练更多 epoch。

复现评估

本文在可复现性方面做得相当好。代码已在 GitHub 上开源（https://github.com/dkopi/data-repetition），使用的主要数据集（Dolci SFT 7B 和 NuminaMath-TIR）都是公开可用的 HuggingFace 数据集。训练使用的是公开的基础模型（Qwen3-4B、Qwen3-8B、Olmo3-7B），评估基准（AIME、GPQA）也是标准的。超参数在附录中完整列出，包括优化器设置、学习率、warmup 比例等。计算资源方面，每个配置使用单张 H100 94GB GPU 训练最多 24 小时，这意味着完整复现所有实验需要相当的计算资源（数百个 GPU 小时），但对于验证核心发现而言，只需运行几个关键配置即可。主要的复现挑战在于：第一，batch size 为 1 的设置在实际中不常见，需要验证在更大 batch size 下结论是否成立；第二，作者使用的数据过滤条件（保留首轮对话、有完整推理链、不超过 10k token）需要精确复现；第三，评估中的采样参数需要参考各模型的技术报告。

数据重复优于数据扩展：长链式推理监督微调的新范式 Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning