可验证环境是乐高积木：用于推理泛化的递归组合 Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization
RACES框架将可验证环境像乐高积木一样递归组合，突破线性扩展限制提升LLM推理泛化能力。
前置知识
可验证环境
可验证环境是一个四元组 e = (G_e, f_e, D_e, V_e)，其中 G_e 是输入采样器，f_e 是输出映射器，D_e 是问题描述器，V_e 是程序化验证器。对于给定输入，f_e 产生确定性输出，V_e 可以验证模型输出是否正确。常见例子包括代码执行、谜题求解等可以自动判对的任务。可验证环境为强化学习提供了明确的奖励信号，无需人工标注。
本文的核心思想基于可验证环境的组合，理解其四元组结构（输入采样器、输出映射器、问题描述器、验证器）和类型签名（域与陪域）是理解 RACES 如何实现递归组合的基础。
类型签名与组合闭包
每个可验证环境 e 的类型签名定义为 τ_e = (X_e, Y_e)，其中 X_e 是输入域，Y_e 是输出陪域。当环境 e_i 的输出陪域 Y_{ei} 与环境 e_j 的输入域 X_{ej} 相匹配时，即 Y_{ei} = X_{ej}，两个环境可以组合为 g∘f(x) = g(f(x))。由于 f 和 g 都是确定性映射，它们的组合仍然是确定性映射，具有类型签名 (X_{e1}, Y_{et})，因此可以继续与其他环境组合，形成组合闭包。
类型匹配是 RACES 实现自动组合的核心机制，理解这个数学原理有助于理解为什么环境可以像乐高积木一样递归拼接。
强化学习与可验证奖励 (RLVR)
强化学习与可验证奖励 (Reinforcement Learning with Verifiable Rewards) 是一种训练大语言模型推理能力的方法。在可验证环境中，模型根据环境描述和输入生成输出，通过程序化验证器 V_e(y_pred, y_true) 自动计算奖励（正确为1，错误为0）。相比传统RL依赖人工或稀疏奖励，RLVR提供明确、密集的训练信号。常用算法包括 GRPO (Group Relative Policy Optimization)，不需要对参考策略进行KL正则化。
本文在可验证环境上应用强化学习来提升推理泛化，理解RLVR的基本原理和训练配置（如clip ratio、batch size、rollouts）有助于理解实验设置和性能评估。
研究动机
现有可验证环境构建方法存在严重的线性扩展限制。手动构建环境耗时耗力，难以快速扩展。即使使用自动合成方法（如SCALER、RESYN），每次也只能独立生成单个环境，导致环境池规模随构建成本线性增长。例如，用300个环境训练DeepSeek-R1-Distill-Qwen-14B，平均分仅从48.2提升到48.8，说明仅增加环境数量不足以支持最优的推理泛化。此外，随着模型性能快速提升，即使精心构建的大规模数据集也无法跟上对高质量训练信号的需求，出现数据边际效用递减的问题。
本文的目标是本文的目标是突破可验证环境的线性扩展限制，通过递归组合现有环境实现指数级或组合级扩展。具体而言，给定有限的基础环境池，自动发现域兼容的组合路径，将其组装成结构更复杂的复合环境，用这些复合环境进行强化学习训练，从而提升模型在未见过的推理基准上的泛化性能。同时，本文还希望通过调节组合大小，系统地控制任务难度，实现高效的课程学习。
与已有工作不同的是，与现有工作的根本区别在于，RACES不从零开始生成全新的环境，而是利用现有环境的组合闭包性质进行扩展。现有方法（如MathFusion、H1、Composition-RL）主要在问题层面进行组合，需要手工设计适配器，组合深度浅，难以实现真正的递归扩展。RACES在环境层面进行程序化递归组合，当环境的输出类型与另一个环境的输入类型匹配时，自动将其融合，无需人工干预。此外，现有方法关注组合的具体策略，而RACES提出了系统化的组合算子（SEQUENTIAL、PARALLEL、SORT、SELECT），通过改变算子和组合大小引入多样化的推理模式。
核心方法
RACES将可验证环境抽象为可组合的积木块，当两个环境的类型签名匹配（输出的陪域等于输入的域）时，它们可以自动融合成新的可验证环境。这个过程可以递归进行，就像乐高积木一样组装成越来越复杂的推理任务。整体技术路线包括三个阶段：首先构建初始环境池（300个基础环境），然后通过前沿搜索算法发现域兼容的组合路径并进行质量保证（过滤执行失败、超时、无效输出），最后将复合环境实例化为模型可见的训练问题（通过四种组合算子：SEQUENTIAL、PARALLEL、SORT、SELECT）。组合大小t直接衡量任务难度，可以通过调节t实现课程学习。
RACES的核心创新是利用可验证环境的组合闭包性质实现自动递归扩展。如果环境 f: X→Y 和 g: Y→Z，它们的组合 g∘f: X→Z 仍然是可验证环境，因为两者都是确定性映射。这意味着可以用有限的初始环境池构建指数级增长的环境空间。与已有方法在问题层面组合不同，RACES在环境层面进行程序化组合，不需要手工设计适配器。另一个关键创新是定义了四种组合算子，每种算子规定了复合环境如何呈现给模型以及如何验证响应，从而在相同复合结构上诱导不同的推理模式（如链式推理、并行推理、顺序推断、子集选择）。
方法步骤详情
方法分为四个主要步骤。第一步，定义可验证环境的四元组结构 e = (G_e, f_e, D_e, V_e) 并构建初始环境池。G_e 程序化采样有效输入，f_e 是核心语义的代码实现，D_e 将输入渲染为自然语言问题，V_e 验证输出正确性。第二步，通过前沿搜索发现组合路径。给定初始输入 x_0 和环境池 E，构建搜索树，每个节点是状态值，每条边是域兼容的环境。长度为 t 的路径表示为 π_t = (x_0; e_1, ..., e_t; y_1, ..., y_t)，其中 y_i = f_{e_i}(y_{i-1})，y_0 = x_0。第三步，质量保证。域兼容是必要但不充分的条件，RACES应用在线可执行过滤，只保留执行成功且中间状态格式良好的扩展路径。第四步，算子实例化。用SEQUENTIAL（预测所有中间输出）、PARALLEL（并行解决多个独立问题）、SORT（推断环境顺序）、SELECT（识别正确子集和顺序）将复合环境转化为训练问题，采样不同的组合大小实现难度调节。
技术新颖性
RACES的技术新颖性体现在多个方面。首先，提出了环境级别的递归组合框架，利用类型匹配自动发现组合路径，无需人工设计问题间适配器，突破了现有问题级组合方法的深度限制。其次，定义了四种系统化的组合算子，每种算子在相同复合结构上诱导不同的推理模式，增加了训练信号的多样性。第三，通过调节组合大小实现难度的系统调制，为课程学习提供了可控的参数，实验表明大小为4-5的组合效果最佳。第四，实验发现RACES在50个基础环境上就能达到300个独立环境的性能，证明了组合可以大幅提升环境利用效率。第五，训练动态分析揭示了有趣现象：虽然RLindividual在训练奖励上提升更快，但RACES在下游基准上持续改进，说明复合环境虽然更难优化，但能诱导更可泛化的推理行为。
实验结果
RACES在多个模型和基准上一致性地提升了推理泛化性能。对于DeepSeek-R1-Distill-Qwen-14B，RACES将平均分从48.2提升到51.3，提升3.1分，显著优于RLindividual（仅提升0.6分到48.8）。具体到各基准，LiveCodeBench从47.2提升到48.8，Enigmata从32.3提升到35.4，LongBench-v2从32.5提升到36.0，IFEval从70.6提升到74.6（+4.0），AIME从58.5提升到61.7。对于Qwen3-14B，RACES将平均分从58.8提升到61.1，同样优于RLindividual（60.1）。环境利用效率方面，仅用50个基础环境的RACES(50)就能达到或超过300个独立环境的RLindividual(300)性能：在DeepSeek-R1-Distill-Qwen-14B上，RACES(50)为50.2 vs RLindividual(300)为48.8；在Qwen3-4B-Instruct-2507上，RACES(50)为50.8 vs RLindividual(300)为50.4。组合大小分析显示非单调关系：大小从2增加到5时，平均分从50.8稳步提升到51.2；但增加到6时，性能下降到50.7，说明存在推理泛化与可训练性的权衡。训练动态分析表明，虽然RLindividual的训练奖励提升更快且保持更高，但RACES在下游基准上持续改进，最终性能更优，说明复合环境虽然更难优化，但能诱导更可泛化的推理行为。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 代码生成 | LiveCodeBench分数 | 48.8 | 46.9 (RLindividual) | +1.9 |
| 逻辑推理 | Enigmata分数 | 35.4 | 34.2 (RLindividual) | +1.2 |
| 长上下文理解 | LongBench-v2分数 | 36.0 | 33.7 (RLindividual) | +2.3 |
| 指令遵循 | IFEval分数 | 74.6 | 69.3 (RLindividual) | +5.3 |
| 数学推理 | AIME平均分 | 61.7 | 59.8 (RLindividual) | +1.9 |
| 整体性能 | 六基准平均分 | 51.3 | 48.8 (RLindividual) | +2.5 |
局限与改进
作者在论文中承认了一些局限性。首先，组合路径发现依赖于域兼容性，这只是一个必要条件而非充分条件，需要额外的质量保证过滤（执行成功、中间状态格式良好），但仍可能产生语义上不合理的组合。其次，过度深的组合（如大小为6）会降低训练效果，因为优化困难占主导，奖励方差变小，最终性能下降。第三，RACES的有效性依赖于初始环境池的质量和类型多样性，如果基础环境缺乏足够的类型覆盖，组合空间将受限。第四，四种组合算子虽然具有代表性，但可能无法覆盖所有有用的推理模式。此外，我观察到一些额外限制：组合会增加计算成本，因为每个复合环境需要执行多个子环境；错误传播问题更严重，单个步骤的失败会影响整个链；SORT和SELECT算子在较小模型上收益接近零，可能需要更强的基线模型才能有效学习。
独立分析的弱点
RACES的弱点主要体现在几个具体场景。首先，类型匹配的严格性限制了组合灵活性，两个环境必须精确匹配域和陪域才能组合，这在实际中可能过于严格。改进方向是引入类型兼容性而非精确匹配，例如通过隐式类型转换或适配器层扩展组合空间。其次，质量保证仅过滤执行失败和格式错误，但不验证语义合理性，可能产生无意义的复合。改进方向是增加语义验证，例如用语言模型评估组合的连贯性或定义组合的有效性启发式规则。第三，组合算子的奖励设计相对简单，SEQUENTIAL仅奖励最长正确前缀，可能忽略部分正确性。改进方向是设计更细粒度的奖励机制，如基于步骤的重要性加权或部分奖励。第四，前沿搜索是随机的BFS，可能错过最优组合路径。改进方向是引入更智能的搜索策略，如基于图神经网络的环境表示学习或基于强化学习的路径探索。最后，错误传播问题严重，单个步骤失败导致整个链失败。改进方向是增加鲁棒性机制，如允许跳过失败步骤或引入自修正模块。
未来方向
作者提出的未来方向包括探索更多组合算子以覆盖更广泛的推理模式，以及研究更复杂的组合搜索策略。基于本文成果可以延伸的方向包括：将组合框架扩展到其他类型的可验证环境，如数学证明、代码调试、数据可视化等；研究跨模态环境的组合，例如文本-代码-图像环境的混合组合；探索组合与课程学习的结合，根据模型能力动态调整组合大小和算子类型；研究组合环境的元学习，让模型学会如何组合环境而非仅学习解决给定任务；开发组合环境的自动验证和调试工具，帮助理解复合环境的失败原因；探索组合与提示工程的结合，例如用组合环境自动生成复杂的思维链提示。此外，可以研究组合环境的理论性质，如组合空间的大小分布、最优组合路径的搜索复杂度等。
复现评估
论文提供了部分匿名化数据子集（https://anonymous.4open.science/r/Submission_of_NIPS2026_34776-B7FD），但完整代码和环境池未开源。实验使用32×NVIDIA A100 80GB集群和vLLM进行rollout生成，训练配置为300步、12,800训练实例、batch size 128、学习率2e-6、每个问题8个rollouts、最大序列长度32K tokens。分析实验使用Qwen3-4B-Instruct-2507，训练200步、6,400实例、batch size 64、最大序列长度16K tokens。使用VERL框架实现，优化算法为GRPO，clip ratio为0.28，不对参考策略进行KL正则化。评估在6个基准上进行，AIME评估32次，其他基准评估4次，报告平均分。复现难度主要在于：需要大规模GPU集群（32块A100）进行RL训练，构建300个初始环境池需要大量工作，组合搜索和验证的计算成本较高。如果只在小规模环境池和较小模型上复现核心思想（如Qwen3-4B、50个环境），难度会大幅降低。
论文图表
