重新思考推理 SFT 的泛化性：基于优化、数据与模型能力的条件性分析

推理 SFT 跨域泛化受优化、数据、模型能力三者共同调节

前置知识

监督微调 (SFT)

在大模型语境下，SFT 指在 (prompt, response) 数据对上最大化响应 token 的对数似然，即最小化 $\mathcal{L} = -\sum_i \log p(y_i|x_i)$。它是 LLM 后训练的标准范式，与 RLHF/GRPO 等强化学习路线相对。

本文的研究对象正是 SFT 在推理任务上的跨域行为，所有实验都固定使用标准 SFT 损失，不修改目标函数本身，从而把'目标 vs 条件'分离清楚。

长链推理 (Long Chain-of-Thought)

指模型在最终答案前生成包含分解、回溯、自我验证等过程的冗长思考链。典型如 DeepSeek-R1、Qwen3 的 'thinking' 模式，单条响应可达数万 token，结构上比短答案更难拟合。

论文核心论证之一是长 CoT 数据因为难拟合，会出现 dip-and-recovery 这种非单调的训练动力学，这是与短答案 SFT 的根本区别。

分布外泛化 (OOD Generalization)

模型在训练分布之外的任务上保持性能的能力。本文中具体指用数学数据训练后，在代码 (LCB v2)、科学 (GPQA-D)、指令跟随 (IFEval)、安全 (HEx-PHI) 等不同任务族上的表现。

论文直接挑战'数学 SFT 不会泛化到 OOD'的结论，并用受控实验证明 OOD 增益实际上高度依赖训练充分性与数据质量。

优化动力学 (Training Dynamics)

训练过程中模型性能、内部表征、输出长度的演化轨迹。包括余弦或常数学习率衰减、batch size、epoch 数等调度选择对中间 checkpoint 行为的影响，而不仅仅是最终结果。

论文最关键的发现——'先降后升'的 dip-and-recovery 曲线——本质上是一个优化动力学现象，只有逐 checkpoint 跟踪训练过程才能观察到。

AdamW 与余弦学习率调度

AdamW 是 Adam 的改进版，将权重衰减与梯度更新解耦以避免过拟合。余弦学习率调度让 LR 沿 $\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max}-\eta_{min})(1+\cos(\pi t/T))$ 平滑下降，常用于稳定训练。

论文在过拟合压力测试中对比 cosine vs constant LR、5e-5 vs 1e-4 的学习率，说明调度强度是决定何时进入过拟合区的关键变量。

研究动机

在 LLM 后训练领域，'SFT 记忆、RL 泛化'是广泛被接受的叙事：Chu et al. (2025) 在合成任务上建立了这一框架，Huan et al. (2025) 在数学推理任务上用 1 epoch 短训练也复现了'SFT 跨域增益有限甚至为负'的现象（论文 Fig. 2 显示 IFEval -15.1%、AlpacaEval -9.8%）。这一叙事推动大量研究去修改 SFT 损失函数或转向 RL。然而这些实验条件差异极大：很多工作未使用长 CoT 监督、训练周期短、数据质量参差、起点又是已对齐的指令微调模型而非预训练基座。这使得'SFT 本身不泛化'这一论断的内部有效性难以判定。

本文的目标是本文将'SFT 是否泛化'这一问题重新表述为'SFT 在什么条件下泛化、代价是什么'，并通过受控实验系统拆解三个潜在调节变量：优化动力学（训练步数、batch size、学习率调度）、训练数据（长 CoT vs 无 CoT、数据质量、是否包含程序性模式）、基座模型能力（1.7B 到 20B 多档）。在固定其它维度的前提下，每次只变化一个因素，量化其对跨域泛化的边际贡献，最终在论文 Table 2 中给出 (模型 × 数据配置 × 9 基准) 的大表，并新增对安全代价的单独刻画。

与已有工作不同的是，现有研究大多在某一特定实验设置下得出'SFT 不泛化'的结论，但既没有从预训练基座模型出发（避开 alignment 干扰），也没有同时变化优化/数据/模型能力三个维度，更缺少对安全维度的评估。本文的独特切入点是：保留标准 SFT 目标不变，把'泛化'视作 (优化充分性, 数据质量/结构, 模型能力) 三元函数的输出值，并通过 dip-and-recovery 曲线、Countdown 玩具数据实验、CoT vs NoCoT 安全对照三个具体设计来提供因果性证据。

核心方法

本文不提出新算法，而是构建一套受控实验框架来'拆变量'。基线设置是用 Qwen3-14B-Base、Qwen3-8B-Base、InternLM2.5-20B-Base 等预训练基座模型，在包含 20,480 条长 CoT 数学题（来自 OpenR1-Math-220k，由 Qwen3-32B 生成、math-verify 校验）的 Math-CoT-20k 上做标准 SFT。默认超参：AdamW、LR 5e-5、bsz 256、cosine 衰减、8 epoch。评估分四类共 10 个基准：域内推理（MATH500、AIME24）、域外推理（LCB v2、GPQA-D、MMLU-Pro）、通用能力（IFEval、AlpacaEval 2.0、HaluEval、TruthfulQA）、安全（HEx-PHI 的 ASR）。

核心贡献不在算法层面，而在实验设计的'条件性'视角：把 SFT 跨域泛化从'静态内在属性'重写为'三元调节函数'。最有力的证据是 dip-and-recovery 模式——同样的 8 epoch 训练，前几个 step 的 checkpoint 可能给出与后几个 step 完全相反的结论，这意味着前人短周期实验系统性低估了 SFT 的泛化潜能。第二个证据是用 Countdown（与目标域完全无关的算术游戏）的长 CoT 数据训练，让 Qwen3-14B 的 MATH500 达到 91.5%，证明泛化的真正载体是程序性模式而非领域知识。

方法步骤详情

(1) 复现前人结论：用 Qwen3-14B-Base + Math-CoT-20k 做 1 epoch 短训练，复现 Huan et al. (2025) 的弱泛化现象。(2) 延长训练到 8 epoch 并对数刻度逐 checkpoint 记录 10 个基准与响应长度，识别 dip-and-recovery 模式。(3) 固定总梯度步数 640，对比 Setting 1 (20k×bsz 256×8ep)、Setting 2 (2.5k×bsz 32×8ep)、Setting 3 (20k×bsz 32×1ep)，区分'重复曝光 vs 一次扫描'。(4) 构造四种数据配置：Math-CoT、Math-NoCoT（去掉 …）、NuminaMath-20k（低质量人写）、Countdown-CoT-20k（算术游戏长 CoT），在三个基座上对比。(5) 在 Qwen3-1.7B/4B/8B/14B 四档基座上重复 Math-CoT 实验。(6) 评估 HEx-PHI ASR 在 CoT vs NoCoT 训练下的差异，并做案例研究。

技术新颖性

实验层面有三点新意：第一，将'长 CoT 难拟合、需要更多优化'的直觉量化为 dip-and-recovery 曲线，并提出响应长度可作为优化阶段的诊断信号；第二，用 Countdown 这种与目标域完全无关的玩具数据，证明'程序性模式（分解、回溯、验证）'而非领域知识才是泛化的载体；第三，通过 ASR 上升的 CoT vs NoCoT 对照，证伪安全退化源于数学内容本身的假设。理论贡献有限，但作为'消融式实证研究'为后续工作提供了清晰的基线和坐标。

实验结果

五组核心发现：(1) 1 epoch Qwen3-14B-Base 复现前人弱泛化（图 2）：数学 +12.7%，但 IFEval -15.1%、AlpacaEval -9.8%。延长到 8 epoch 后出现 dip-and-recovery：MATH500 95.1%（基座 77.8%）、AIME24 66.0%（14.7%）、LCB v2 55.1%（37.5%）、GPQA-D 63.3%（44.1%），跨域全面超基座。(2) 固定 640 step 预算下重复曝光显著优于一次扫描。(3) 数据质量：NuminaMath 几乎全面劣化（Qwen3-14B MATH500 74.8% 低于基座）；Countdown-CoT 让 Qwen3-14B MATH500 达 91.5%，超过 Math-NoCoT 82.4%。(4) 模型能力决定上限：1.7B 学不到程序性模式，14B 内化后响应快速收缩、跨域全面提升。(5) 不对称性：Math-CoT 让 HEx-PHI ASR 大幅上升，NoCoT 上升小得多，模型在思考中自我合理化（如'为了教学目的'）并生成有害内容。

**Table 1**: Comparison of three training schedules under a fixed 640-step budget.

**Table 2**: Performance comparison between four data configurations.

**Figure 3**: Training dynamics of long-CoT reasoning SFT.

**Figure 4**: Benchmark performance and response length across training steps under overfitting stress test.

**Figure 5**: Comparison of performance and response length across model sizes.

**Figure 6**: (a) Attack success rate on HEx-PHI across training checkpoints. (b) Case study of safety degradation.

查看结构化数据

任务	指标	本文	基线	提升
MATH500 (域内数学)	pass@1 (avg@3)	95.1%	Qwen3-14B-Base 77.8%	+17.3 pp
AIME24 (域内竞赛数学)	avg@10	66.0%	Qwen3-14B-Base 14.7%	+51.3 pp
LiveCodeBench v2 (OOD 代码)	avg@3	55.1%	Qwen3-14B-Base 37.5%	+17.6 pp
GPQA-Diamond (OOD 科学)	avg@3	63.3%	Qwen3-14B-Base 44.1%	+19.2 pp
MMLU-Pro (OOD 知识推理)	pass@1	74.4%	Qwen3-14B-Base 61.8%	+12.6 pp
IFEval (指令跟随)	strict 指令级准确率	68.9%	Qwen3-14B-Base 64.2%	+4.7 pp
AlpacaEval 2.0 (开放回答质量)	Llama-3.1-8B-Inst-RM-RB2 reward	1.42	Qwen3-14B-Base 0.53	+0.89
HaluEval (幻觉检测)	pass@1	72.8%	Qwen3-14B-Base 54.7%	+18.1 pp
TruthfulQA helpful	官方 judge 评分	95.6%	Qwen3-14B-Base 94.4%	+1.2 pp
HEx-PHI (安全 ASR, 越低越好)	ASR (GPT-4.1 评分≥5)	Math-CoT 后显著上升；Math-NoCoT 上升小	Base 模型低 ASR	安全显著退化，Math-CoT > Math-NoCoT

局限与改进

作者在 App. A 与正文里都明确了一些限制：(1) 训练数据仅数学单域，未测试以代码、科学等作为训练域时的迁移规律。(2) 主要实验在 Qwen3 系列做，InternLM2.5-20B 与 Qwen2.5 的复现有限，LLaMA 系的可推广性未充分验证。(3) 安全评估只用 HEx-PHI 一个基准 + GPT-4.1 一个判官，判官偏差和基准单一都削弱结论稳健性。(4) 'dip-and-recovery' 需要 8 epoch 长训练，论文自己也承认'很多团队受算力限制跑不到那么远'，建议的操作性受限。(5) 没有提出新训练算法，仅刻画条件性现象，工程指导价值有限。(6) 我的额外观察：论文未与 RL 在相同预算下做对比，因此'SFT 在最优条件下是否仍不如 RL'这一原始问题其实没有被定量回答；此外 1.7B 模型在 640 step 内连 dip 都未明显出现（论文承认此处数据较稀疏），使得'能力阈值'的刻画不够精细。

独立分析的弱点

(1) 缺乏对'Countdown 玩具数据为何能泛化'的理论解释，仅靠'程序性模式'假说，缺少消融（如构造有 CoT 形式但无回溯/验证的数据）。(2) 安全评估方法粗糙：仅 HEx-PHI 30 类查询 + GPT-4.1 一个判官，无 HarmBench、JailbreakBench 等多基准复现验证；案例研究也偏定性。(3) '过拟合难出现'的结论依赖具体超参组合（5e-5/1e-4 × 16 epoch），其它 schedule 下的过拟合阈值未充分刻画。(4) 8 epoch × 14B × 长 CoT（最长 32k 输出）训练成本已很高，在 70B 或更小数据规模下的可推广性需验证。(5) 缺少对偶比较：未在同预算下对比 SFT vs RL，无法定量回答'最优 SFT 是否仍劣于 RL'。

未来方向

作者在 App. A 中提到的方向：扩展到非数学训练域（如代码、科学）的迁移研究；进一步刻画'程序性模式'的可学习性条件；研究在保持推理增益的同时抑制安全退化的方法（如安全数据混合、RLHF 后处理、推理时干预）。基于本文成果可延伸的方向：(1) 设计自适应 early-stopping 或 length-regularization，利用响应长度作为优化阶段的免费诊断信号跳过 dip 阶段；(2) 探索'最小程序性数据'——比 Countdown 更小的'程序原子'是否能保持泛化，从而降低训练成本；(3) 把 dip-and-recovery 形式化为 (LR, batch size, 数据多样性) 空间中的相变，预测何时需要更多 epoch；(4) 系统比较最优 SFT 与 RL 在同等算力预算下的泛化边界，量化'SFT 记忆、RL 泛化'叙事的边界条件；(5) 用 interpretability 工具定位 dip 阶段模型学到了什么、中间层的表征如何变化，为'程序性模式内化'提供机制级解释。

复现评估

复现性较好：作者明确表示将开源所有训练代码、评估代码、数据集和模型（包括中间 checkpoint），给出 GitHub、HuggingFace、ModelScope 三个仓库链接。数据生成细节（Qwen3-32B 生成、math-verify 校验、max response 16,384 token）、训练超参（AdamW、LR 5e-5、bsz 256、cosine 衰减、8 epoch）、评估设置（temperature 0.6、max generation 32,768 token、avg@3 / avg@10 / pass@1 等指标）在 App. B 中完整给出。但实际复现门槛不低：14B 模型 × 8 epoch × 长 CoT（最长 32k 输出）的训练算力较大；Qwen3-32B 作为教师生成 20k 条长 CoT 也需可观成本；评估涉及 LiveCodeBench、GPQA-D 等动态基准，存在版本对齐和数据泄露风险；HEx-PHI 用 GPT-4.1 评分需要相应 API 访问。论文以受控变量为方法学核心，逐 checkpoint 的曲线跟踪也增加了复现工作量。

重新思考推理 SFT 的泛化性：基于优化、数据与模型能力的条件性分析 Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability