一层够吗？训练单个Transformer层可以匹配全参数RL训练 Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training
研究发现RL训练增益集中在少量中间层，单层训练可超越全参数方法
前置知识
RLVR (Reinforcement Learning with Verifiable Rewards)
基于可验证奖励的强化学习方法，适用于有客观正确答案的任务。给定提示词x，模型生成响应y∼πθ(·|x)，通过奖励函数r(x, y)评估，返回基于答案正确性的二元信号（0或1）。这种方法常用于数学推理、代码生成等可以通过自动验证确定对错的场景，避免了需要训练奖励模型的复杂性。
本文的研究场景完全基于RLVR，理解这种强化学习范式对于理解论文的实验设计和结果分析至关重要。
GRPO (Group Relative Policy Optimization)
一种不需要学习价值网络的强化学习算法。对于每个提示词x，GRPO从当前策略采样一组G个响应{y1, ..., yG}，计算组归一化优势。策略更新通过最大化裁剪代理目标，其中包含重要性采样比率和KL惩罚系数。
GRPO是本文主要使用的RL算法，理解其工作原理有助于理解单层训练的梯度计算方式和训练过程。
Layer Contribution (层贡献)
本文提出的核心指标，用于量化单个层捕获RL诱导改进的能力。对于层k，令Sk表示仅训练层k得到的模型的性能，Sbase表示原始预训练模型的性能，Sfull表示全参数GRPO训练后的性能。层贡献定义为C(k) = (Sk - Sbase) / (Sfull - Sbase)。C(k)=1.0表示单层训练完全匹配全参数训练的增益，大于1.0表示超越，接近0表示无法捕获有意义的RL改进。
这是本文的核心创新概念，所有实验分析都基于这个指标，理解它对于理解论文的主要发现和贡献至关重要。
研究动机
现有的RL后训练方法通常均匀更新所有模型参数，隐含假设每个层对RL训练过程中获得的增益贡献相似。然而，这种假设缺乏实证支持。在实际应用中，如Qwen3-1.7B-Base模型在NuminaMath-CoT数据集上进行GRPO训练，不同层对最终性能提升的贡献存在巨大差异。例如，Layer 10的贡献达到1.14（超过全参数训练），而Layer 24仅为0.28（不足全参数训练的三分之一）。这种非均匀性意味着现有方法可能存在效率问题——某些层可能在学习过程中被稀释了效果，而其他层则可能产生负面干扰。
本文的目标是本文的目标是通过系统的分层研究揭示RL训练增益在Transformer网络中的分布规律，并探索这种发现能否用于改进标准的全参数RL训练。具体而言，研究旨在回答三个问题：(1) 不同层的RL适应能力是否存在显著差异？(2) 如果存在差异，这种差异是否遵循某种稳定的结构模式？(3) 这种结构模式是否可以算法化地用于提升RL训练效率？
与已有工作不同的是，本文的独特切入角度在于将RL后训练视为一个可以分层解构的过程，而非整体的参数更新。与之前关注预训练模型层重要性的工作不同（如Zhang et al., 2024; Song et al., 2026主要研究层删除对性能的影响），本文聚焦于RL训练过程中各层的适应能力。与监督微调中的层感知方法（如LISA、MISA）不同，本文在RL设置下发现了跨数据集、跨任务、跨模型家族的稳定结构模式，这是之前未被观察到的现象。
核心方法
本文采用控制良好的单层训练框架来隔离每个层的适应行为。对于有L个Transformer层的LLM，标准全参数GRPO更新所有参数，计算梯度。在单层训练框架中，隔离单个层θk并仅更新其参数：θk ← θk - α ∇θkLGRPO(θ)，同时冻结所有其他参数。梯度通过整个网络反向传播计算，因此依赖所有层，但参数更新被限制在层k。这个过程对每个层k独立重复，隔离每个层吸收RL诱导改进的能力。
核心创新点在于发现RL训练增益具有高度非均匀的分层结构。具体而言，(1) 最佳单层可以恢复114%的全参数训练增益（Qwen3-1.7B的Layer 10），(2) 高贡献层集中在网络中间40%-60%深度处，(3) 层贡献排名在数据集（NuminaMath-CoT vs. DeepScaleR，Spearman ρ=0.76）和任务（NuminaMath-CoT vs. DeepCoder，Spearman ρ=0.59）之间保持强相关性。这一发现挑战了RL改进源于整个网络协调适应的直觉，表明RL后训练的大部分效益集中在相对小且稳定的Transformer层子集中。
方法步骤详情
方法包括四个主要步骤。第一步是单层训练：对LLM的每个层k，冻结所有其他参数（包括嵌入层和语言模型头），仅使用GRPO更新层k的参数，所有单层训练使用与全参数基线相同的超参数（学习率5×10^-6、批次大小512、组大小G=4、裁剪范围ε=0.2、KL系数β=0.001、4个epoch）。第二步是评估：每个单层训练得到的模型在相同的域内基准测试集上评估性能（数学任务使用MATH500、GSM8K、OlympiadBench、AMC的平均分数）。第三步是层贡献计算：对每个层k，使用公式C(k) = (Sk - Sbase) / (Sfull - Sbase)计算其贡献。第四步是跨条件泛化验证：在七个模型上重复实验，涵盖两个模型家族、三种RL算法、两个任务域，以验证发现的普遍性。
技术新颖性
技术新颖性体现在三个方面。首先，提出了层贡献这一简洁而有效的指标，将抽象的层重要性概念量化为可比较的数值，使得跨模型、跨任务的系统比较成为可能。其次，发现了RL后训练的稳定分层结构——中间层集中贡献的模式在所有七个模型上重现。最后，将发现转化为实用的训练策略：层自适应学习率、层选择性训练、以及无需分析的中层启发式，这些策略在Qwen3-8B上分别实现67.42%、69.11%、68.19%的数学性能，均超过全参数基线的66.43%。
实验结果
核心发现包含三个层次。第一，层贡献存在巨大差异：在Qwen3-1.7B-Base上，贡献范围从0.28（Layer 24）到1.14（Layer 10），5个层超过1.0，7个层低于0.5，最佳层捕获最差层四倍以上的增益。在Qwen3-4B-Base上，范围从0.66（Layer 2）到1.06（Layer 16）；在Qwen3-8B-Base上，最佳层达到1.07（Layer 16），而Layer 0甚至出现负贡献（C=-0.51）。第二，这种变化高度结构化：所有七个模型都显示相同的中间高、两端低模式，高贡献层集中在网络深度的40%-60%处。第三，模式具有跨条件稳定性：对于固定模型Qwen3-1.7B-Base，层贡献排名在NuminaMath-CoT和DeepScaleR之间的Spearman相关系数为0.76（p<0.001），在NuminaMath-CoT和DeepCoder之间为0.59（p<0.001），表明层贡献是预训练模型的内在属性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（MATH500/GSM8K/OlympiadBench/AMC平均） | 平均准确率(%) | Qwen3-1.7B单层最佳（Layer 10）: 51.8 | Qwen3-1.7B全参数GRPO: 50.8 | +1.0 (1.9%) |
| 数学推理（同上） | 平均准确率(%) | Qwen3-4B单层最佳（Layer 16）: 64.3 | Qwen3-4B全参数GRPO: 63.7 | +0.6 (0.9%) |
| 数学推理（同上） | 平均准确率(%) | Qwen3-8B单层最佳（Layer 16）: 67.1 | Qwen3-8B全参数GRPO: 66.5 | +0.6 (0.9%) |
| 智能体决策（ALFWorld） | 成功率(%) | Qwen2.5-1.5B单层最佳（Layer 14）: 89.1 | Qwen2.5-1.5B全参数GiGPO: 87.8 | +1.3 (1.5%) |
| 层选择性训练（最佳10层） | 平均准确率(%) | Qwen3-8B仅训练10层: 69.1 | Qwen3-8B全参数GRPO: 66.4 | +2.7 (32%相对增益) |
局限与改进
作者承认的局限性包括：(1) 引导训练策略仅在数学推理任务上验证，扩展到代码和智能体任务留待未来工作；(2) 层贡献指标定义依赖于特定训练配置，对于为什么中间层对RL适应不成比例重要缺乏更深层的理论理解；(3) 单层训练和多数投票框架旨在作为分析工具而非实用训练策略。本文观察到的额外局限性包括：(1) 实验主要聚焦于推理类任务，对于生成式任务的适用性尚未验证；(2) 研究基于Qwen架构，对于其他架构的泛化性需要进一步研究；(3) 实验使用的RL算法都属于PPO类方法，对于其他RL范式的适用性未知。
独立分析的弱点
独立分析的弱点包括四个方面。第一，计算成本高昂：单层训练需要对每个层进行独立训练，对于36层的模型需要运行36次完整训练，这使得层贡献分析在实际应用中成本过高。虽然文中提出了无需分析的中层启发式，但其性能仍低于需要分析的选择性训练。第二，适用范围有限：所有实验都在客观可验证奖励的设置下进行，对于基于语言模型奖励或基于人类反馈的复杂奖励信号，层贡献模式是否保持尚不清楚。第三，缺乏理论解释：虽然观察到中间层集中贡献的稳定模式，但论文未提供理论解释。第四，集成实用性受限：虽然多数投票能提升性能，但需要维护多个独立的模型，在实际部署中存储和推理成本显著增加。改进方向包括开发更高效的层贡献估计方法、探索层贡献模式的理论基础、以及在更广泛的任务和架构上验证发现的泛化性。
未来方向
作者提出的未来研究方向包括将引导训练策略扩展到代码生成和智能体任务。基于本文成果可延伸的方向包括：(1) 理论研究：建立数学模型解释为什么中间层对RL适应更有效；(2) 架构探索：在不同架构（如Llama、Mistral、混合专家模型）上验证层贡献模式；(3) 算法创新：开发动态层选择策略，在训练过程中根据层贡献自动调整学习率或冻结决策；(4) 效率优化：研究如何通过轻量级分析准确估计层贡献；(5) 应用扩展：探索层贡献概念在其他训练范式中的适用性；(6) 集成压缩：研究如何将多个层特定模型的知识压缩到单个模型中。
复现评估
复现评估相对良好。论文提供了详细的训练超参数，包括学习率5×10^-6、批次大小512、组大小G=4、裁剪范围ε=0.2、KL系数β=0.001、epoch数4等。使用的模型和数据集都是公开可用的。RL算法的实现框架也已开源。然而，复现面临几个挑战：(1) 计算成本高：单层训练需要对每个层独立训练，对于36层模型需要36次完整训练，总计算量是全参数训练的36倍；(2) 公开代码和模型：论文提到代码和模型将开源，但在预印本阶段尚未提供；(3) 评估基准：论文使用12个基准测试，虽然都是公开数据集，但准确复现需要严格的评估协议和去污染处理。总体而言，对于有充足计算资源的团队，复现主要实验是可行的。
论文图表
