Composition-RL：为大语言模型强化学习组合可验证提示 Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models

Composition-RL 的完整流程包含三个阶段。**第一阶段：数据构建（Sequential Prompt Composition, SPC）**。(1) 从原始训练集 $D$ 中为每个 $q_2$ 独立采样 20 个候选 $q_1$，形成候选集 $D_1$；(2) 对 $q_1$ 及其标准答案 $gt_1$，提取数值 $v_1$ 并创建定义 $d_1$，形成 $\bar{q}_1 = q_1 \oplus d_1$；(3) 对 $q_2$，将其某个数值常量替换为新变量 $v_2$，形成 $\bar{q}_2$；(4) 计算 $v_1 - v_2$ 的关系表达式 $r$，将两个修改后的问题连接为 $q_{1:2} = \bar{q}_1 \oplus r \oplus \bar{q}_2$；(5) 对每个组合步骤进行 LLM 自验证，过滤低质量组合，最终从 MATH12K 的 12K 提示生成约 199K 条组合提示。**第二阶段：RL 训练**。使用 GRPO 算法在组合提示数据集 $\hat{D}_C^K$ 上进行强化学习训练，所有超参数与标准 RLVR 保持一致（batch size 256，学习率 $1 \times 10^{-6}$，每个问题 8 次 rollout，最大输出长度 16K tokens）。**第三阶段（可选）：课程学习**。先在原始 MATH12K（Depth 1）上训练至饱和，然后切换到 Depth 2 组合数据继续训练，再切换到 Depth 3，逐步增加组合深度。

Composition-RL 的技术新颖性体现在以下几个方面。首先，与现有 RLVR 数据利用方法（如优势塑造、提示过滤、提示增强等）不同，Composition-RL 不是被动地处理已有提示的难度分布，而是主动地创造新的、更有价值的训练实例。其次，与 SFT 领域的数据增强方法（如 MetaMath、SAND-Math）相比，Composition-RL 生成的组合提示不仅增加了数据量，更重要的是通过结构化依赖创造了隐式过程监督信号——这一点在消融实验中得到了验证：直接拼接两个问题的效果远不如 SPC 组合（整体准确率差 5.5%）。第三，组合深度的可调节性提供了一个全新的"难度旋钮"：通过改变 $K$，可以精确控制训练提示的难度级别，这是现有方法无法做到的。最后，跨领域组合（如物理+数学）的效果优于简单的数据混合，表明组合操作本身能够促进不同领域知识的融合。

从独立分析的角度，Composition-RL 存在以下几个弱点。**第一个弱点是组合提示的同质性问题**：当前的 SPC 流程对所有问题采用相同的组合策略（提取数值->替换->连接），但数学问题的类型极其多样——有些问题的难点在于几何直觉，有些在于代数技巧，有些在于概率推理。统一的数值提取+替换策略可能无法覆盖所有问题类型的最佳组合方式。改进方向：设计针对不同问题类型的组合模板，例如几何问题可以组合辅助线构造，概率问题可以组合条件概率链。**第二个弱点是课程学习的触发机制粗糙**：论文中提到"性能饱和后切换到下一深度"，但没有给出明确的饱和判断标准。在实际应用中，过于保守或激进的切换时机都可能影响最终效果。改进方向：基于 solve all 比例或验证集准确率的变化趋势设计自适应切换策略。**第三个弱点是跨域组合的局限性**：当前的跨域实验仅涉及物理和数学两个领域，且物理数据需要经过严格的验证器过滤（从约 23K 过滤到约 8.2K），这限制了方法在更广泛领域（如代码、逻辑推理、常识推理）中的适用性。改进方向：探索基于 LLM-as-judge 的通用验证机制，降低对规则验证器的依赖。**第四个弱点是对 MoE 模型的适配性不足**：30B-A3B 虽然获得了最大的绝对提升，但原始性能远低于 14B dense 模型，暗示 MoE 模型的专家路由机制可能对组合提示的分布更敏感。改进方向：研究组合提示对 MoE 模型专家激活模式的影响，设计针对 MoE 架构的组合策略。

论文作者提出了三个明确的未来方向：(1) 将 Composition-RL 扩展到更具挑战性的数学训练集，如 Polaris-53K；(2) 扩展组合操作到更多领域；(3) 将 Composition-RL 适配到 on-policy 蒸馏场景。基于论文的成果，我认为还可以延伸出以下方向：首先，**组合深度的自动化调度**是一个值得探索的方向——当前的课程学习需要手动设置深度切换时机，未来可以设计基于模型自身能力评估的自适应深度选择策略。其次，**组合操作的语义多样性**可以进一步丰富——除了当前的数值提取+替换，还可以探索逻辑条件组合（"如果 q1 的答案是偶数，则 q2 的条件变为..."）、参数化组合（将 q2 的某个结构参数化而非简单替换数值）等更丰富的组合范式。第三，**将 Composition-RL 与过程奖励模型（PRM）结合**是一个有前景的方向——当前的隐式过程监督完全来自最终答案的验证，如果能引入显式的过程监督信号（如中间步骤的正确性判断），可能进一步提升效果。最后，**探索组合提示对模型涌现能力的影响**也是一个有趣的研究方向——组合训练是否能让模型获得解决更深层组合问题的能力，以及这种能力是否能迁移到其他需要多步推理的任务上。

从复现评估的角度，Composition-RL 的复现条件相当友好。**开源情况**：作者明确表示将发布代码、数据集（MATH-Composition-199K 和 Physics-MATH-Composition-141K）和训练模型，GitHub 仓库地址为 https://github.com/XinXU-USTC/Composition-RL。**数据集**：组合提示的构造完全基于公开的 MATH 训练集和 MegaScience 物理子集，无需额外的数据标注。组合过程使用 Qwen2.5-32B-Instruct 自动完成，论文提供了完整的 prompt 模板。**算力需求**：论文训练了 4B/8B/14B/30B-A3B 四个规模的模型，使用 VeRL 训练框架，训练配置为 batch size 256、8 rollouts/问题、最大输出 16K tokens。对于 4B 模型，估计需要数张 A100/H100 GPU 训练数天；30B MoE 模型则需要更多资源。**复现难度**：中等偏低。方法本身非常简洁（数据构造 + 标准 GRPO 训练），关键的超参数选择和训练配置在论文中有详细说明。唯一需要注意的是组合提示的质量验证步骤——作者使用了三步 LLM 自验证来过滤低质量组合，这个步骤的实现细节在论文附录中有完整描述。