← 返回 2026-03-19

PRISM：揭开中间训练的保留与交互之谜 PRISM: Demystifying Retention and Interaction in Mid-Training

Bharat Runwal, Ashish Agrawal, Anurag Roy, Rameswar Panda 📅 2026-03-17 👍 2 2026-07-13 08:36

中间训练大语言模型训练强化学习推理能力训练流水线

系统性研究LLM中间训练设计选择，揭示其与RL协同提升推理能力的机制

前置知识

中间训练

中间训练是在预训练和下游微调/强化学习之间插入的额外训练阶段，使用更高质量、领域专注的数据混合来注入推理能力。传统LLM训练流程是预训练→对齐，现代方法加入了这个中间阶段来专门强化数学、代码、科学推理等能力。与预训练不同，中间训练通常使用更小规模（约27B token）但质量更高的数据，目标是让模型在保留通用能力的同时，在特定领域获得更强的推理表现。

本文核心研究对象，理解何时、如何进行中间训练，以及它与强化学习的交互，是设计高效LLM训练流水线的关键。

CKA (Centered Kernel Alignment)

CKA是一种衡量神经网络内部表示相似性的方法，通过计算两个模型在相同输入上的隐藏状态的核对齐程度来判断它们的表示几何结构是否相似。公式为 CKA(X, Y) = ||Y^TX||_F / (||X^TX||_F · ||Y^TY||_F)，其中X和Y是均值池化后的隐藏状态矩阵。CKA值接近1表示表示结构几乎相同，接近0则表示完全不同。这种方法对线性变换不敏感，能够捕捉模型在特征空间中组织信息的本质方式。

本文用CKA分析不同训练阶段（基础模型→中间训练→RL）之间模型内部表示的变化，发现RL几乎完全保留了中间训练建立的表示几何结构，这是理解训练机制的关键洞见。

GRPO (Group Relative Policy Optimization)

GRPO是一种强化学习算法，用于优化语言模型的生成策略。它通过对多个生成样本进行分组，计算相对优势而非绝对优势来降低方差。算法目标是最大化格式化奖励，同时通过KL散度约束避免与参考模型偏离过大。具体实现中，模型会对每个提示生成16个响应，然后使用数学验证器或其他评估器对这些响应评分，基于这些评分计算优势并更新模型参数。

本文在RL阶段使用GRPO算法来优化模型在数学、代码、科学任务上的表现，理解这个算法有助于把握文中RL训练的具体机制。

权重稀疏性

权重稀疏性是指在训练过程中只有很小比例的参数发生显著变化的现象。本文定义一个参数发生显著变化当其归一化L2变化 δ(W) = ||W_new - W_old||_2 / ||W_old||_2 超过某个阈值（如1%）。如果超过90%的参数变化小于1%，则认为训练过程是高度稀疏的。这种分析可以揭示训练是在广泛重组模型知识还是仅进行局部调整。

本文的核心发现之一是中间训练进行密集重构（>90%参数变化），而RL进行稀疏精化（~5%参数变化），这种对比揭示了两种训练阶段的根本机制差异。

研究动机

现代LLM训练流程已经从传统的两阶段（预训练+对齐）演进为三阶段（预训练+中间训练+强化学习），但中间训练阶段的设计选择缺乏系统指导。现有研究存在几个关键问题：首先，术语使用不一致——有些工作将中间训练视为长上下文扩展阶段，有些视为高质量退火阶段，还有些作为为RL准备的领域特化阶段；其次，许多研究只在有限的基准上评估，只报告数学或代码的收益而忽略是否保留了通用能力或与其他推理维度的交互；最重要的是，中间训练与下游强化学习的交互机制几乎未被探索，不清楚中间训练是否以及如何为RL提供更好的初始化。

本文的目标是本文目标是通过大规模受控实验系统性地回答关于中间训练的核心问题：应该使用什么数据？在训练流程的何时应用中间训练？如何与强化学习交互？这些发现是否在不同架构（密集Transformer和注意力-Mamba混合架构）和规模（3B到24B参数）之间泛化？作者希望提供实用的设计指南，帮助研究者构建更健壮的中间训练流水线。

与已有工作不同的是，与已有工作的关键区别在于本文采用全方位评估框架。之前的研究要么只关注单一领域（如仅数学），要么缺乏跨模型家族的比较，要么未系统研究与RL的交互。本文在7个基础模型（跨越4个模型家族、2种架构类型）上进行受控实验，同时评估通用能力、长上下文表现、以及数学、代码、科学三个领域的推理基准，并深入分析中间训练与RL的协同机制。这种系统性、跨架构、跨规模的研究视角在文献中是独一无二的。

核心方法

PRISM是一个全面的实证研究框架，旨在系统性地评估LLM中间训练的设计选择。作者在7个基础模型上执行受控实验，这些模型来自4个家族（Granite、LLaMA、Mistral、Nemotron-H），涵盖2种架构类型（密集Transformer和注意力-Mamba混合架构）以及从3B到24B的参数规模。核心流程包括三个阶段：首先使用高质量、领域专注的数据混合进行中间训练，然后在中间训练模型上应用强化学习，最后通过权重层面、表示层面和行为层面的分析来理解不同训练阶段的机制差异。

核心创新点是系统性揭示中间训练与强化学习在机制上的本质差异：中间训练进行密集的全局重构（改变>90%的参数），重塑模型的表示几何结构和行为模式（从短答案转向长推理链）；而RL进行稀疏的局部精化（只改变~5%的参数），在中间训练建立的表示结构内进行精细调整。另一个关键发现是数据组成选择在中间训练阶段比在RL阶段更重要——在中间训练中加入科学数据可以在RL阶段解锁+17到+28点的GPQA-Diamond收益，而改变RL数据混合产生的影响<2点。最后，无论是否有中间训练，RL的权重变化模式几乎相同，但只有在中间训练模型上才能产生有效收益，表明中间训练将模型置于RL能有效改善性能的权重配置空间。

方法步骤详情

PRISM方法包含四个主要步骤：第一步是数据准备，从多个高质量数据源构建中间训练数据混合，包括通用网络数据（DCLM-EDU）、数学推理数据、代码推理数据、科学推理数据以及聊天对话数据，通过经验验证确定采样权重；第二步是执行中间训练，在基础模型上使用约27B token进行训练，通常采用8k上下文长度，持续直到token预算耗尽或性能饱和；第三步是强化学习阶段，使用GRPO算法在中间训练模型上继续优化，采用平衡或不平衡的数据混合，每个提示生成16个响应并根据验证器评分计算奖励；第四步是全面评估和机制分析，在多个基准上评估性能（包括通用能力榜单、长上下文、数学、代码、科学），并通过权重分歧分析、CKA表示相似性分析、预测熵和正确性研究来理解不同训练阶段的机制差异。

技术新颖性

技术创新体现在多个维度：首次系统性揭示中间训练和RL在权重更新模式上的根本差异（密集重构vs稀疏精化），发现这种差异在0.1%到10%的任何阈值下都成立；通过CKA分析证明RL几乎完全保留中间训练建立的表示几何结构（CKA>0.998），而中间训练的表示影响是模型特定的；发现RL的权重变化轨迹是前载的（大部分变化在前200-400步），且无论起始点是基础模型还是中间训练模型都几乎相同，但只有在中间训练模型上才能产生有效收益；通过权重插值的通过率景观直观展示中间训练创建了对RL有利的权重配置。这些机制层面的洞察为理解LLM训练流程提供了新视角。

**Figure 1**: PRISM overview. Mid-training decisions are decomposed into their principal design axes, including retention of general and long-context abilities, domain interaction (math, code, science), benchmark selection, reinforcement learning compatibility, and scaling behavior. PRISM enables holistic evaluation of mid-training choices across model families at scale.

**Figure 2**: Mid-training data mixture configurations and per-source sampling percentages. The outer ring shows individual data sources; the inner ring groups them by domain category.

**Figure 11**: Mid-training densely restructures the network; RL makes sparse, surgical refinements.

**Figure 14**: RL preserves representational geometry; mid-training reshapes it in model-specific ways.

**Figure 16**: RL optimization is front-loaded and starting-point-invariant.

实验结果

核心发现分为几个层面：在性能层面，约27B token的中间训练在所有测试模型上产生+15到+40点的数学基准提升和+5到+12点的代码基准提升，Granite和混合模型在科学上获得+6到+13点提升，同时保留通用性能。完整的PRISM→RL流水线将六个基准的宏平均从低于12提升到29-42（3-4倍改进）。直接在基础模型上应用RL效果显著较差，AIME分数接近零。数据组成在中间训练阶段比RL阶段更重要——在中间训练中加入科学数据可以在RL阶段解锁+17到+28点的GPQA-Diamond收益（Granite-3.3从35.52提升到52.86），而改变RL数据混合产生的影响<2点。RL能够逐步扩展模型的可解性前沿——在Granite-3.3上，对于最初完全无法解决的代码提示（通过率0%），通过率在训练过程中稳步上升；对于最难的数学提示（初始通过率仅为1/16），通过率也持续改善。这些发现证实PRISM→RL流水线积极推动可解性边界而非仅仅打磨现有能力。在机制层面，权重分析显示中间训练密集重构>90%的参数（L2分歧是RL的370-580倍），而RL稀疏精化~5%的参数。CKA表示分析确认RL一致保留中间训练的表示几何结构（>0.998 CKA）跨越三种模型和三种输入分布，而中间训练的表示影响是模型特定的。行为上，中间训练使模型产生扩展的推理链——在MATH500问题上，LLaMA基础模型的响应中位数仅158 token，中间训练后扩展到1052 token。

**Table 1**: Datasets used in mid-training mixtures. Token counts are reported in billions (Granite 3.3, 8B).

**Table 2**: Benchmark categories recommended for evaluating mid-training design choices.

**Table 3**: Effect of when mid-training is applied on Granite-4 Micro (3B). Phase 3/4 = intermediate/late pretraining; After LC = after long-context extension.

**Table 4**: Leaderboard V1 and V2 results for Granite-3.3-8B mid-trained with the mixtures in Fig. 2.

**Table 5**: Domain-specific results for Granite-3.3 (8B). Code/Math are averages; full results in Appendix Table 19.

**Table 6**: Base versus PRISM (Math+Code+Science) mid-training results across model families.

**Table 11**: Full Base →Mid-training →RL pipeline results across LLaMA-3.1-8B, Granite-3.3-8B, and Mistral-7B.

查看结构化数据

任务	指标	本文	基线	提升
数学推理	AIME24	Granite-3.3: 37.18	Granite-3.3 base: 0.46	+36.72
数学推理	MATH500	Mistral-7B: 70.71	Mistral-7B base: 1.68	+69.03
代码生成	LiveCodeBench	Mistral-Small 24B: 17.09 (RL后)	Mistral-Small 24B base: 0.0	+17.09
科学推理	GPQA-Diamond	Granite-3.3 (MCS mid-train + MC RL): 52.86	Granite-3.3 base: 22.56	+30.30
长上下文检索	RULER@128k	42.16 (通过合并+扩展恢复)	59.09 (基础模型)	-16.93 (相比基础模型，但通过恢复策略接近恢复)
代码竞赛	Codeforces	Granite-4 Micro: 6.25	Granite-4 Micro base: 2.28	+3.97

局限与改进

作者承认的局限性包括：在RL阶段使用单个模型过滤提示并应用于所有模型家族，这可能不是每个模型的最优选择；研究主要关注数学、代码、科学三个领域，没有覆盖多语言推理、代理任务、工具使用等其他领域；最大模型规模仅为24B，对于70B+更大规模模型的适用性尚未验证；主要实验使用8k上下文长度进行中间训练，虽然消融实验显示16k带来额外收益，但没有探索32k+上下文与更大token预算的联合优化。额外的观察局限性包括：长上下文中间训练与长上下文预训练的交互可能因设置不同而异；所有测试模型都已经过长上下文扩展阶段，这可能影响结果的泛化性；权重空间景观分析仅限于线性插值，没有探索非线性路径的可能。

独立分析的弱点

独立分析的弱点包括：第一，中间训练显著损害长上下文能力——Granite-3.3的RULER@128k从59.09降至6.46，需要额外的恢复阶段，这增加了训练复杂性和计算成本。第二，数据组成的调整效果具有模型特异性——LLaMA在C4网络文本上显示最深的表示分歧，而Granite-3.3在数学提示上显示最深分歧，这意味着需要针对每个模型家族单独优化数据混合。第三，某些模型在中间训练阶段会出现性能回退——Nemotron-H在MATH500上的通过率从66.6%降至61.6%，虽然RL后恢复到83.0%，但这种中间回退可能增加训练不确定性。第四，RL的收益在不同基准上差异显著——GPQA-Diamond获得巨大提升（+27.95），但Codeforces的提升相对较小（+2.65到+10.30），表明RL对不同类型任务的敏感度不同。改进方向包括：探索更高效的长上下文能力保留方法，避免需要额外的恢复阶段；开发自适应数据组成策略，根据模型的预训练分布动态调整中间训练混合；研究减轻中间训练阶段性能回退的技术，例如渐进式数据混合或课程学习；进一步优化RL算法以更好地平衡不同领域的收益。

未来方向

作者提出的未来研究方向包括：开发模型感知的RL数据策展，根据不同中间训练模型的难度档案自适应选择提示，这可能产生更强的每个模型性能；将PRISM扩展到多语言推理、代理任务、工具使用等其他领域，验证领域协同和通过通用网络数据保留的模式是否更广泛地成立；在70B+更大规模模型上验证PRISM发现，因为更大规模模型的中间训练计算预算和数据需求可能在性质上有所不同；探索32k+上下文长度与更大token预算的联合优化，可能进一步提升推理/保留的权衡。基于成果可延伸的方向包括：研究非线性权重空间路径，探索是否存在比线性插值更优的优化路径；分析RL对不同类型任务（例如代码竞赛vs代码生成）的敏感度差异，开发针对性的优化策略；探索中间训练与其他下游训练方法（例如监督微调、偏好优化）的交互；研究中间训练持续时间与RL收益的关系，是否存在最优的中间训练强度。

复现评估

复现评估方面，论文提供了相当详细的信息。所有使用的模型都是开源的（Granite、LLaMA、Mistral、Nemotron-H），所有数据集都有明确的来源和链接。训练超参数在附录A和表21中详细列出，包括中间训练、长上下文扩展和RL阶段的具体设置。评估基准和设置在附录B中详细说明，包括生成参数和评估工具。论文还提到了项目页面和HuggingFace模型与数据链接。然而，完整的复现仍面临一些挑战：计算资源需求很高，中间训练需要约27B token的训练量，RL需要1000步的批量推理；某些数据集的访问可能有限；权重空间和表示分析的代码没有公开。总体而言，对于一个有足够计算资源的团队，复现主要实验是可行的，但完整的机制分析可能需要额外的工程工作。