SCALER：面向推理的合成可扩展自适应学习环境 SCALER:Synthetic Scalable Adaptive Learning Environment for Reasoning
通过合成可控难度的推理环境和自适应RL，持续提升LLM推理能力。
前置知识
强化学习（RL）用于大语言模型后训练
强化学习是一种通过优化策略在明确可验证的奖励信号下进行学习的范式，已成为提升大语言模型推理能力的关键后训练手段。在推理任务场景中，RL通过GRPO等算法优化模型策略，使模型在可验证的推理任务上获得更好的表现。具体而言，对于每个提示，模型采样多个响应，根据任务特定的奖励信号更新策略参数，从而提升决策能力、改善长期信用分配并扩展推理边界。
SCALER的核心目标是通过自适应环境设计来维持有效的RL训练信号，理解RL在LLM后训练中的基本原理是理解本文研究动机和技术方案的前提。
可验证推理环境
可验证推理环境是指能够通过确定性预言机（deterministic oracles）或单元测试自动验证模型输出正确性的推理任务空间。论文将环境形式化定义为元组 $E = (I, P, R)$，其中 $I$ 是输入模板（所有问题共享的上下文描述），$P$ 是问题生成器（通过可控参数生成不同难度的实例），$R$ 是验证器（提供所有生成问题的正确答案）。这种环境设计确保了奖励信号的准确性和可靠性，避免了奖励黑客问题。
SCALER的创新之处在于将编程问题自动转化为这种可验证推理环境，这是整个框架能够有效工作的基础，也是区别于传统数据集RL方法的核心差异。
课程学习与难度调度
课程学习是一种训练策略，核心思想是从简单任务逐步过渡到复杂任务，以维持有效的学习信号。难度调度则是在训练过程中动态调整任务难度，确保模型始终在能力边界附近学习。传统方法基于静态数据集设计课程，面临粒度粗糙且难以设计的挑战；而环境级别的难度调度可以在线监控和调整每个环境的难度，但现有方法（如RLVE）依赖手工设计的有限环境集。
SCALER的难度控制器本质上是一种细粒度的在线难度调度机制，理解课程学习的背景有助于理解其与现有方法的本质区别。
GRPO（Group Relative Policy Optimization）
GRPO是一种用于大语言模型强化学习的优化算法，通过组内相对比较来更新策略，避免了传统PPO中需要额外价值网络的复杂性。对于每个提示采样 $n_{resp}$ 个响应，通过相对奖励信号计算策略梯度并更新模型参数。该算法在Qwen3等模型的训练中表现出色，是当前主流的LLM强化学习方法之一。
SCALER使用GRPO作为核心强化学习算法，训练时每个提示采样8个响应，理解GRPO的工作原理有助于理解SCALER的训练过程。
研究动机
强化学习在提升大语言模型推理能力方面已被证明效果显著，但其有效性高度依赖于训练信号的质量，而现有方法在这方面面临两个关键问题。第一是难度不匹配问题：当模型主要处理简单问题时学习会饱和，当处理过于困难的问题时探索变得低效且奖励变得稀疏，这两种情况都会导致训练信号失效。论文指出，即使是基于大规模数据集的方法（如DeepMath-103K，包含10.3万个样本），随着训练进行其学习信号也会逐渐衰减，在约1000个训练步后性能趋于平台期。第二是多样性不足问题：即使难度匹配良好，重复交互有限的任务分布会导致模型过拟合到特定模式，削弱泛化能力。论文特别指出，即使单个环境能通过缩放参数生成无限多的问题（如更长的数组或更大的图），它仍然共享有限的模板和失败模式，一旦掌握这些模式学习就会停滞。
本文的目标是本文提出SCALER（Synthetic sCalable Adaptive Learning Environment for Reasoning）框架，旨在通过自适应环境设计系统性地解决上述问题。具体目标包括三个方面：（1）构建可扩展的合成管线，将真实世界编程问题转化为可控难度的可验证推理环境，实现无限实例生成，使RL训练能够超越有限数据集的限制；（2）设计自适应多环境RL策略，包含在线难度控制器和环境管理机制，动态调整实例难度并管理活跃环境集，持续跟踪模型能力边界并保持分布多样性；（3）在AIME24、AMC23、MATH-500、MMLU-Pro、BBEH等多个推理基准上实现稳定、长期的性能提升，超越现有数据集RL和环境RL基线方法。
与已有工作不同的是，与现有工作相比，SCALER的独特切入角度在于将环境合成与自适应训练框架深度结合，实现了'环境-模型共同进化'。数据合成RL方法（如Synthetic Data RL、SWiRL）虽然能生成大量训练数据，但缺乏难度控制机制，容易产生与模型能力不匹配的实例；自博弈方法虽然能生成交互数据，但最大难度受限于生成智能体的能力。环境级别的方法（如RLVE）虽然支持在线难度调整，但依赖手工设计的有限环境集（通常只有几十个），难以实现大规模多样性。SCALER通过自动从CodeContests的4973个编程问题中合成2739个可验证推理环境，结合基于在线准确率的难度控制器（公式 $d_{t+1} = \text{clip}(d_t + \beta \cdot (a_t - \tau), 0, D)$）和基于难度斜率的环境管理机制，首次实现了数据生成、难度控制、多样性维护的端到端统一。
核心方法
SCALER的方法框架包含两个核心组件，整体思路可以用一个直觉类比理解：训练过程应该让模型始终在'刚好够难'的任务上学习，就像人类学习时总是在舒适区边缘挑战自己，既不会因为太简单而无聊，也不会因为太困难而放弃。技术路线上，SCALER首先从CodeContests等编程问题库中通过元信息提取、测试用例生成验证、难度校准三个步骤，将问题转化为形式为 $E=(I,P,R)$ 的可验证推理环境，每个环境可以无限生成不同难度的实例；然后在训练过程中，通过难度控制器动态调整每个环境的实例难度，确保模型在能力边界附近学习；同时通过环境管理机制，当某个环境的学习信号饱和时（难度斜率 $\leq 0$、准确率为0持续 $K_{zero}$ 步、或难度达到最大值 $D$ 持续 $K_{sat}$ 步）将其退休并替换为新环境，保持训练的新鲜感和多样性。训练使用GRPO算法，每个提示采样8个响应，训练批量大小等于环境集大小（64个环境）。
SCALER的核心创新在于'环境-模型共同进化'机制，这与现有方法有本质区别。与传统课程学习在固定数据集上设计课程不同，SCALER将每个推理环境视为一个可调节的'难度旋钮'，通过在线反馈实时调整难度。与RLVE等环境级别方法相比，SCALER有三个独特创新：（1）自动从编程问题合成大量环境（2739个），而非手工设计有限环境集；（2）难度控制器基于在线准确率动态调整，通过连续难度分数与离散难度级别的转换机制（$h = \text{round}(k \cdot (d_{t+1} - \ell))$）解决连续控制与离散采样的矛盾；（3）环境管理机制通过最小二乘法拟合难度斜率（$a_e^t = \frac{\sum_{i \in T}(i - \bar{i})(d_e^i - \bar{d_e})}{\sum_{i \in T}(i - \bar{i})^2}$），提供数学上严谨的饱和检测方法。这种设计使得训练信号始终保持有效，避免了现有方法中学习信号衰减的问题。
方法步骤详情
SCALER的训练流程可分为以下详细步骤。第一步是环境合成阶段：从CodeContests提取编程问题，通过元信息提取（使用LLM提取缩放参数和输出要求）、测试用例生成与验证（通过广度检查确保多解一致性，通过深度检查确保输出多样性）、难度校准（通过二分搜索确定可行难度范围并离散化）三个子步骤，将问题转化为可验证推理环境，最终从4973个编程问题中得到2739个环境。第二步是初始化阶段：从环境池中随机采样 $M=64$ 个环境构成活跃集 $W$，每个环境的初始难度设为 $d_{min}$。第三步是核心训练循环：在每个训练步 $t$，从活跃集的每个环境中根据当前难度 $d$ 采样一个实例，收集策略 $\pi_{\theta}$ 的轨迹并计算准确率 $acc_t$；根据准确率更新难度 $d_{t+1} = \text{clip}(d_t + \beta \cdot (a_t - \tau), 0, D)$；使用所有环境的轨迹组成批次 $D_{batch}$ 更新策略。第四步是环境管理：监控每个环境的难度斜率 $a_e^t$，当 $a_e^t \leq 0$（学习饱和）、$acc_e^t = 0$ 持续 $K_{zero}$ 步（不可学习）、或 $d_e^t = D_e$ 持续 $K_{sat}$ 步（已达最大难度）时，退休该环境并从池中采样新环境替换，保持活跃集大小不变。
技术新颖性
SCALER的技术新颖性体现在多个层面。首先，环境合成管线创新性地将编程问题转化为可控难度的推理环境，通过广度检查（验证多解一致性）和深度检查（确保输出多样性）两道验证机制保证合成质量，通过二分搜索校准可行难度范围，这在现有工作中是首次实现。其次，难度控制器采用连续难度分数与离散难度级别的转换机制：当连续值 $d_{t+1} \in \mathbb{R}$ 需要映射到 $k$ 个离散级别时，通过 $\ell = \lfloor d_{t+1} \rfloor$ 和 $h = \text{round}(k \cdot (d_{t+1} - \ell))$ 将 $h$ 个实例分配级别 $\ell+1$、其余 $k-h$ 个分配级别 $\ell$，使平均值精确匹配 $d_{t+1}$，这在技术上巧妙解决了连续控制与离散采样的矛盾。第三，环境管理机制基于最小二乘法拟合难度斜率，提供了比简单阈值更鲁棒的饱和检测方法。最后，整个框架实现了环境合成、难度控制、环境管理的端到端集成，使训练信号在长期训练中始终保持有效。
实验结果
SCALER在多个推理基准上表现出色，系统性地验证了其有效性。在Qwen3-1.7B-Base模型上，SCALER的平均准确率达到40.18%，超越DeepMath-103K（39.07%）、MATH-7.5k（38.89%）和RLVE（37.80%）等所有基线。在Qwen3-4B-Base模型上，SCALER达到54.25%，超越RLVE（53.52%）、MATH-7.5k（52.04%）和DeepMath（51.08%）。具体到各基准：在4B模型上，AMC23达到75.00%（超越RLVE的70.94%，相对提升5.7%），AIME24达到27.29%（超越RLVE的25.42%，相对提升7.3%），MMLU-Pro达到70.00%（超越RLVE的69.91%）。训练动态分析显示，SCALER的性能在超过1000个训练步后仍能持续提升，而数据集基线更早达到平台期，有效采样率统计表明大多数采样实例保持在模型能力边界附近。环境规模实验表明，从8个环境增加到2739个环境，两个模型都表现出持续的性能提升。消融实验证明难度控制器和环境管理机制都是必要的：移除任一组件都会导致性能下降和更早的平台期。超参数敏感性分析表明，SCALER对 $K_{slope}=10$、$K_{zero}=K_{sat}=5$ 等超参数不敏感，在不同设置下表现稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500 | avg@1 | 75.80%（1.7B）/ 84.40%（4B） | 75.60% MATH-7.5k（1.7B）/ 86.60% DeepMath-103K（4B） | 1.7B模型上与最佳基线持平，4B模型上略低于DeepMath但整体五基准平均更优 |
| AMC23 | avg@16 | 49.53%（1.7B）/ 75.00%（4B） | 50.78% MATH-7.5k（1.7B）/ 70.94% RLVE（4B） | 4B模型上相对提升5.7%（从70.94%到75.00%） |
| AIME24 | avg@16 | 12.91%（1.7B）/ 27.29%（4B） | 15.20% MATH-7.5k（1.7B）/ 25.42% RLVE（4B） | 4B模型上相对提升7.3%（从25.42%到27.29%） |
| MMLU-Pro | avg@16 | 50.89%（1.7B）/ 70.00%（4B） | 49.64% DeepMath-103K（1.7B）/ 69.91% RLVE（4B） | 1.7B模型上相对提升2.5%（从49.64%到50.89%），说明SCALER具有跨领域迁移能力 |
| BBEH | avg@1 | 11.74%（1.7B）/ 14.56%（4B） | 11.30% RLVE（1.7B）/ 16.52% RLVE（4B） | 1.7B模型上相对提升3.9%（从11.30%到11.74%），4B模型上略低于RLVE |
局限与改进
作者在论文中坦诚地承认了几个局限性。首先，研究主要关注环境规模的扩展（从8到2739个环境），但环境内部属性（如上下文丰富度、内在难度分布、环境特定的推理复杂度等）对模型性能的影响尚未深入探索，这些因素可能对训练效率有重要影响。其次，实验基于2739个SCALER环境，虽然相比手工设计的环境集（通常只有几十个）已有显著扩展，但更大规模的扩展定律（环境数量与模型参数量、计算资源之间的关系）尚未充分研究。从独立观察来看，SCALER存在以下局限：计算成本较高，每个训练步需要从64个环境中各采样一个实例、每个实例生成8个响应，计算开销显著高于传统数据集RL方法；环境合成依赖GLM-4.6作为数据合成智能体，引入了额外的模型依赖和潜在偏见；实验仅在Qwen3系列模型（1.7B和4B）上验证，缺乏对其他模型架构（如LLaMA、Mistral等）的泛化性验证；难度控制器基于在线准确率调整，在训练初期准确率波动较大时可能导致难度调整不稳定。
独立分析的弱点
SCALER存在几个值得深入分析的弱点。首先，环境合成管线依赖GLM-4.6等大型语言模型作为数据合成智能体，这引入了额外的模型依赖和潜在偏见：如果合成智能体本身存在能力限制或系统性偏差，可能会影响合成环境的质量和多样性。改进方向包括开发更鲁棒的验证机制、引入多智能体交叉验证、或设计不依赖特定模型的合成方法。其次，难度控制器的更新规则 $d_{t+1} = \text{clip}(d_t + \beta \cdot (a_t - \tau), 0, D)$ 采用线性调整，学习率 $\beta$ 是固定超参数，可能对快速变化的能力边界响应不够灵敏。可以考虑引入自适应学习率（根据训练阶段动态调整 $\beta$）或基于动量的调整策略。第三，环境管理机制基于难度斜率退休环境，但这种方法可能在训练早期过度退休有潜力的环境，因为早期的学习曲线波动较大。可以考虑引入更长期的性能追踪机制或多时间尺度的评估策略。最后，实验验证范围有限，仅在数学推理任务上进行了充分实验，缺乏对代码生成、常识推理、自然语言理解等其他推理任务的验证。
未来方向
基于SCALER的成果，未来研究可以在多个方向展开。首先，环境内部属性的深入研究：探索不同环境特征（如上下文复杂度、推理步骤数、输出格式、问题结构等）如何影响学习效率，建立环境设计的指导原则和质量评估标准。其次，跨领域泛化：将SCALER的框架扩展到数学推理之外的领域，如代码生成、科学推理、常识推理、逻辑推理等，验证其通用性和可迁移性。第三，扩展定律研究：系统地研究环境数量、模型参数量（从1.7B到更大规模）与计算资源之间的关系，建立环境合成RL的缩放定律，为实际部署提供指导。第四，更高效的训练策略：探索减少计算开销的方法，如实例共享（多个环境共用某些测试用例）、环境并行化、自适应采样（根据环境状态动态调整采样数量）等。最后，多模态推理环境：将框架扩展到包含图像、表格、代码等多模态信息的推理任务，构建更丰富的推理环境生态。
复现评估
SCALER的复现性整体较好，具备完整的复现条件。论文提供了详尽的实验设置描述，包括核心超参数配置（$K_{slope}=10$、$K_{zero}=K_{sat}=5$、活跃集大小 $M=64$、每个提示响应数 $n_{resp}=8$）、训练细节（温度 $T=1.0$、top_p=1.0、提示长度上限4096 token、响应长度上限8192 token）和评估协议（温度 $T=0.6$、top_p=0.95）。代码已在GitHub开源（https://github.com/ALEX-nlp/SCALER），数据源CodeContests公开可用。然而，复现存在一定门槛：需要使用GLM-4.6作为数据合成智能体，可能需要特定的API访问权限；训练需要较大的计算资源，论文在Qwen3-1.7B和4B模型上进行实验；环境合成过程涉及2739个环境的生成和验证，可能需要较长时间和大量计算。总体而言，对于有足够计算资源和API访问的研究者，SCALER的复现是可行的。
论文图表
