← 返回 2026-05-22

从推理链到可验证子问题：课程强化学习实现LLM推理的信用分配 From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning

Xitai Jiang, Zihan Tang, Wenze Lin, Yang Yue, Shenzhi Wang, Gao Huang 📅 2026-05-21 👍 4 2026-07-13 08:36
信用分配 可验证奖励 大语言模型 强化学习 数学推理 课程学习
arXiv HuggingFace PDF

把难题拆成可验证子问题序列，用子问题级信用分配强化LLM推理

前置知识

RLVR（可验证奖励强化学习）

RLVR 用可自动校验的奖励（如数学题最终答案是否正确）训练LLM，免去人工标注，并规避学习型奖励模型被钻空子（reward hacking）的风险。但奖励只在最终答案处给出，在难题上信号极稀疏，是本文要缓解的核心痛点。

RLVR 是整篇论文的训练范式基础，理解它「只有最终答案可校验、过程无信号」的特性，才能理解为何难题会陷入梯度死区以及为何需要子问题来注入过程级信号。

GRPO（组相对策略优化）

GRPO 从同一提示采样一组 $G$ 个 rollout，把每个奖励 $r_i$ 在组内归一化得优势 $A_i=(r_i-\mathrm{mean})/\mathrm{std}$，再赋给整条 rollout 全部 token，省去价值网络，是 RLVR 主流算法，也是本文SCRL的混合训练基线。

GRPO 的「样本级信用分配」和「全错组零信号」两个特性，正是论文动机所指的两个缺陷来源；理解 GRPO 才能看懂子问题级归一化为何更细粒度。

信用分配（Credit Assignment）

信用分配指确定长推理链中具体哪一步导致最终成败。outcome-based RLVR 只把一个样本级优势 $A_i$ 赋给整条 rollout，无法定位关键步骤，使「差一步就成功」与「开头就失败」获得相同信用，这正是SCRL要解决的细粒度问题。

信用分配是贯穿全文的主线概念，论文标题和方法核心都围绕它；理解样本级与token级信用分配的差别，才能理解子问题级归一化的价值。

课程学习（Curriculum Learning）

课程学习把难题拆成从易到难的阶段，逐步提供学习信号。在RLVR中常通过注入hint、改写问题或给专家前缀来降低探索门槛，但本文批评这些做法把hint当已知结论让模型续写，模型不必自己发现关键推理步。

课程学习是SCRL所属的方法家族，理解现有hint式/改写式课程的局限（依赖外部上下文、偏离模型自身分布），才能理解SCRL「模型自己生成推理桥」的本质区别。

梯度死区与指标恢复

梯度死区指当难题可解概率 $p(x;\theta)<\delta$ 时，GRPO有效梯度信息矩阵最小特征值 $\lambda_{\min}(F_x)\to0$，学不动。指标恢复指把优化抬升到子问题乘积流形后 $\lambda_{\min}(F_T)$ 恢复为正，恢复比随难题变难而增大。

这是论文理论分析的核心语言，第4节的定理和「难题收益更大」的预言都建立在此之上；理解它才能把实验现象（小模型收益更大）与理论对应起来。

研究动机

基于可验证奖励的强化学习（RLVR）已成训练大模型数学推理的主流范式，其核心是最终答案可自动校验。然而它有两个结构性缺陷在难题上集中爆发：其一，GRPO 在同提示采样的 rollout 组内归一化奖励，若一组 rollout 全部答错则该组学习信号为零，而难题上正确 rollout 本就罕见，常陷入「梯度死区」；其二，outcome-based RLVR 把单一样本级优势 $A_i$ 赋给整条 rollout，无法区分「差一步就成功」与「开头就失败」。先前工作还指出直接 RLVR 更多提升采样效率而非真正扩展能力边界，而难题恰对RL训练最有价值，造成「越需要越学不动」的矛盾。已有补救路线要么依赖专家轨迹做模仿微调带来分布漂移，要么提供固定hint让模型续写，但这些hint被当作已知结论而非目标，模型不必自己发现关键推理步骤。

本文的目标是本文要构建一种全新的课程RL框架SCRL，使其既能保留模型on-policy自主探索，又能对难题中「做对了一部分」的中间进展给予可验证、可学习的信号。具体目标是：(1) 不引入额外奖励模型或人工过程标注，仅靠可自动校验的子问题答案实现细粒度信用分配；(2) 把难题分解为从易到难、彼此关联且答案可独立验证的子问题序列，让模型在单次on-policy rollout中依次求解，前一部分的答案自然成为后一部分的基础；(3) 在训练机制上把子问题级细粒度优势精确赋给对应答案span的token，同时通过混合组训练避免课程提示与原始评估提示的失配；(4) 给出理论保证证明子问题分解能把难题抬出梯度死区。

与已有工作不同的是，本文独特切入角度是把数学竞赛里「多问大题」的结构引入RL训练：一题拆成从易到难的多个可独立验证小问，所有小问同时可见、必须按序作答，最后一个小问就是原题。这与现有hint类课程学习有本质区别：hint被当作固定前缀让模型续写，模型不必自己生成关键推理步，且hint仍在偏离模型自身分布；而SCRL要求模型在单次on-policy rollout里自己生成连接相邻子问题的推理桥，这些自产中间结果提供可验证的过程级监督。它也不同于SFT/离策略RL的模仿，全程保持on-policy探索。SCRL的关键还在于「进展感知校正」——只奖励最长连续解出的前缀并按子问题位置独立归一化，从而把部分进展转化为token级信号且不依赖精挑细选的子问题。

核心方法

SCRL整体思路是：既然outcome-based奖励在难题上太稀疏，就把同一个难题变成一条由可验证子问题组成的课程，让「做对一部分」也成为可学习信号。直觉上像数学竞赛的多问大题——前问答案天然是后问基础。技术路线分三步：(1) 离线用外部LLM从专家解的推理链派生 $K$ 个从易到难、彼此关联且答案可独立校验的子问题，末子问题固定为原题 $s^{(K)}=x$；(2) 用课程提示让策略在单次on-policy rollout中以 $...$ 标签依次作答，逐个验证答案，做进展感知校正得到子问题奖励 $\tilde{r}$；(3) 在每个子问题位置 $j$ 独立做组内归一化得到子问题级优势 $A_i^{(j)}$，再赋给对应答案span的token，配合混合组训练（一半课程rollout、一半原始rollout）一起更新。

核心创新是「子问题级归一化 + 进展感知校正」构成的细粒度信用分配，本质区别于所有现有做法。现有方法要么用样本级GRPO（一条rollout一个优势），要么把子问题当hint做续写。SCRL则在同一rollout内对每个子问题位置 $j$ 单独按 $A_i^{(j)}=(R_i^{(j)}-\mathrm{mean})/\mathrm{std}$ 归一化，并把优势精确回填到 $...$ 标签内的token span：token位于第 $j$ 个答案span则 $A_{i,t}=A_i^{(\mathrm{sub}_i(t))}$，不在任何span内则置零。这等价于把outcome奖励「切片」成过程级监督，无需外部奖励模型或过程标注。进展感知校正 $\tilde{r}_i^{(j)}=r_i^{(j)}$ 若 $j\le k_i$ 否则 $0$（$k_i$为最长连续解出前缀长度），阻止模型在前问答错时靠蒙对后问骗奖励，例如 $[1,1,0,1]$ 纠正为 $[1,1,0,0]$。

方法步骤详情

完整步骤：(1) 构建子问题——对每个难题 $x$ 及其专家解，用外部LLM（$K=4$）把中间进展节点改写为 $K$ 个从易到难、自洽可验证的子问题，末子问题即原题。(2) 课程提示与响应格式——提示同时呈现 $K$ 个子问题要求按序作答；模型用 $a^{(1)}\cdotsa^{(K)}$ 输出，标签标记每个答案的token span。(3) 验证与进展感知校正——验证得 $r_i\in\{0,1\}^K$，算课程进度 $k_i=\max\{j:r_i^{(1)}=\cdots=r_i^{(j)}=1\}$，保留连续解出前缀得 $\tilde{r}$，格式不符则全零。(4) 子问题级归一化与token级回填——在每个位置 $j$ 上跨组归一化得 $A_i^{(j)}$，回填到对应span token。(5) 混合组训练——每题采 $G/2$ 课程rollout用token级优势、采 $G/2$ 原始rollout用标准GRPO，按 $\mathcal{L}_{\mathrm{SCRL}}$ 联合优化300步。

技术新颖性

技术新颖性集中在四点。第一，首次把「多问大题」的竞赛结构嵌入RL训练：子问题由专家解离线派生而非现编，且要求模型在单次on-policy rollout里自己生成连接相邻子问题的推理桥——既保留自主探索又获得过程级监督，区别于把hint当固定前缀的续写式课程学习。第二，子问题级归一化是全新RLVR训练技术：在每个位置独立归一化并按答案span做token级信用分配，无需外部奖励模型或过程标注就把稀疏outcome奖励切成密集过程信号。第三，进展感知校正通过只奖励最长连续解出前缀，巧妙堵住「跳过前问蒙后问」的奖励黑客捷径，使信用与课程进度对齐。第四，给出基于策略流形Fisher-Rao几何与「指标恢复」的理论框架，证明子问题分解把优化从原策略流形抬升到子问题乘积流形，恢复比随难题变难（$p(x;\theta)\to0$）而增大，预言难题收益更大。

Overview of SCRL. SCRL constructs verifiable subproblems from a reference solution, uses structured responses to assign subproblem-level rewards back to answer-span tokens, and jointly trains curriculum rollouts with original-problem rollouts through mixed group training.
Figure 2: Overview of SCRL. SCRL constructs verifiable subproblems from a reference solution, uses structured responses to assign subproblem-level rewards back to answer-span tokens, and jointly trains curriculum rollouts with original-problem rollouts through mixed group training.
Illustration of mixed training rollouts. The policy generates both original-problem rollouts and curriculum rollouts. The tagged response format <pj>...</pj> in curriculum rollouts identifies the answer span of each subproblem, enabling finer-grained credit assignment.
Figure 3: Illustration of mixed training rollouts. The policy generates both original-problem rollouts and curriculum rollouts. The tagged response format <pj>...</pj> in curriculum rollouts identifies the answer span of each subproblem, enabling finer-grained credit assignment.

实验结果

核心发现有三。其一，跨七大数学推理基准全面领先。Qwen3-4B-Base上SCRL平均35.0%，较GRPO(30.9%)和次优QuestA(32.0%)分别高 $+4.1/+3.0$ 分；AIME'25达15.3%对QuestA的11.7%。Qwen3-14B-Base上平均38.3%，较GRPO(36.4%)高 $+1.9$ 分；Llama3.2-3B上平均16.4%亦最优。其二，课程进展能迁移回直接解题：图5显示SCRL在「半组」原始rollout计数下可解比例仍高于GRPO，说明收益不仅来自课程格式rollout；pass@k曲线（图4）在AIME24/25、IMO-Bench全范围均优于GRPO及基线，三难题基准上Qwen3-4B的pass@1 $+3.7$、pass@64 $+4.6$。其三，SCRL不依赖精挑子问题或强生成器（表2）：用较弱的Qwen3-4B-Instruct生成子问题仍较GRPO平均 $+2.7$，DeepSeek-V3.2提升到 $+3.9$。表3消融表明「子问题级归一化+进展感知校正」最佳，去掉任一均变差。

Main Results on mathematical reasoning benchmarks.
Table 1: Main Results on mathematical reasoning benchmarks.
Effect of subproblem generator quality on Qwen3-4B-Base.
Table 2: Effect of subproblem generator quality on Qwen3-4B-Base.
Ablation on credit assignment. Here "corr" denotes progress-aware correction.
Table 3: Ablation on credit assignment. Here "corr" denotes progress-aware correction.
Pass@k curves on AIME24, AIME25, and IMO-Bench on Qwen3-4B-Base.
Figure 4: Pass@k curves on AIME24, AIME25, and IMO-Bench on Qwen3-4B-Base.
Ratio of solvable problems during training of Qwen3-4B-Base.
Figure 5: Ratio of solvable problems during training of Qwen3-4B-Base.
Final curriculum-progress distribution on the training set.
Figure 6: Final curriculum-progress distribution on the training set.
查看结构化数据
任务指标本文基线提升
七大数学推理基准平均（Qwen3-4B-Base） 平均准确率 35.0% 30.9% (GRPO) +4.1分，较次优QuestA(32.0%)也高+3.0分
AIME 2025（Qwen3-4B-Base） 准确率 15.3% 11.7% (QuestA) +3.6分，是表中最显著的难题单项提升
七大数学推理基准平均（Qwen3-14B-Base） 平均准确率 38.3% 36.4% (GRPO) +1.9分，验证更大模型仍有效但增益递减
AIME24/AIME25/IMO-Bench三难题基准（Qwen3-4B-Base） pass@1 SCRL GRPO +3.7分，体现更强的单次探索解题能力
AIME24/AIME25/IMO-Bench三难题基准（Qwen3-4B-Base） pass@64 SCRL GRPO +4.6分，体现显著改善的采样探索能力
子问题生成器质量消融（Qwen3-4B-Base，5基准平均） 平均准确率 43.0%（Qwen3-4B-Instruct生成）/44.2%（DeepSeek-V3.2生成） 40.3% (GRPO) +2.7 / +3.9分，证明不依赖强生成器

局限与改进

作者承认的局限主要是：子问题构建仍依赖外部LLM（默认DeepSeek-V3.2）和已有专家解，对没有参考解的题目无法构造课程；评估全部集中在数学推理，未扩展到代码、定理证明等其它可验证领域；理论分析基于策略流形几何和条件可辨识性等假设，对实际神经策略未必严格成立。我额外观察到几点：第一，所有增益都在百分位点级，且14B上提升($+1.9$)明显小于4B($+4.1$)，暗示对更强基座收益可能进一步缩水，论文未给出更大模型验证。第二，子问题质量仍显著影响结果（表2弱生成器少约1.2分），与「不依赖精挑子问题」的表述存在张力。第三，SCRL需构造课程提示并采两套rollout，单步训练成本与prompt更长带来的开销论文未量化。第四，$k_i=4$全程可解比例仍低于GRPO可解比例，说明课程红利主要来自更密的梯度而非真正解开更多题，泛化到非数学域存疑。

独立分析的弱点

弱点一：对参考解的依赖是结构性瓶颈。SCRL要求题目已有专家解才能离线派生子问题，而RLVR最想攻克的恰是当前模型解不动的难题——若专家解本身稀缺或错误，子问题质量无从保证。改进方向是探索on-policy或迭代式子问题生成与自校验，去掉对人工/强模型参考解的硬依赖。弱点二：增益随模型规模递减。4B上 $+4.1$、14B上仅 $+1.9$，未在更大模型上验证，存在「小模型红利」嫌疑；改进方向是结合长度惩罚、动态难度过滤等更强机制。弱点三：训练成本未充分量化。课程提示更长、需采两套rollout、需外部生成器，实际GPU小时未报告；改进方向是给出与GRPO的单位token/单位GPU成本对比并做自适应子问题数量 $K$。弱点四：评估域单一。仅数学，未覆盖代码生成、形式化证明、科学推理等同样可验证的领域，方法对结构化答案解析的鲁棒性存疑；改进方向是跨域验证与更通用的子问题验证器。

未来方向

作者方向：把SCRL推广到数学以外的可验证任务（如代码、定理证明），并研究更强的子问题生成与自适应课程调度（动态选 $K$、按课程进度 $k_i$ 难度采样）；作者也强调SCRL作为通用课程框架可与DAPO、NuRL等更强RL算法组合。基于成果可延伸的方向我认为有：(1) 把「多问课程」思想与process reward model结合，用子问题级归一化优势蒸馏轻量过程奖励模型，降低rollout开销；(2) 把进展感知校正推广为更软的信用衰减（如按 $k_i$ 距离指数衰减而非硬置零）以缓解噪声验证；(3) 探索self-play式课程——让策略自己从失败rollout中提出子问题构成课程，摆脱外部生成器；(4) 将理论中的指标恢复分析用于在线选择「恰处梯度死区边缘」的训练样本，做难度感知课程采样；(5) 研究子问题级归一化在多轮对话、智能体长程任务信用分配中的迁移潜力。

复现评估

复现度中等偏上但非完全无门槛。有利因素：训练集 hard_1024 明确（从Yang等2026的高难竞赛数据集随机抽1024题），训练用Verl框架、共300步，模型用开源Qwen3-4B/14B-Base、Llama3.2-3B，七个基准均为公开数据集，子问题生成prompt放在附录I、训练流程放在附录C、超参在附录F，消融设置清晰。不利因素：子问题默认由闭源DeepSeek-V3.2 API生成，精确复现需付费调用且API可能变更（虽然表2证明换Qwen3-4B-Instruct仍有效，但绝对数字会变）；论文未公开代码仓库与生成的子问题数据，需自行实现 $$ 解析、进展感知校正、子问题级归一化与混合组训练；未报告总GPU小时与单步开销，算力需求不透明，但4B/14B做300步RL估计需多卡A100/H100。总体上懂RLVR与Verl的团队能在数周内复现主要趋势，但精确复刻数字有难度。

论文图表

Main idea of SCRL. Standard outcome-based RLVR provides only sparse final-answer rewards on hard problems. SCRL instead decomposes a hard problem into verifiable subproblems, turning intermediate progress into dense learning signals and enabling finer-grained credit assignment.
Figure 1: Main idea of SCRL. Standard outcome-based RLVR provides only sparse final-answer rewards on hard problems. SCRL instead decomposes a hard problem into verifiable subproblems, turning intermediate progress into dense learning signals and enabling finer-grained credit assignment.

对比展示标准outcome-based RLVR与SCRL的核心差异：标准RLVR只在最终答案处给出稀疏奖励（难题上常常全错导致零信号），而SCRL把难题分解成一串从易到难、答案可独立验证的子问题，把「做对中间一部分」也转化为密集的可学习信号，从而实现更细粒度的信用分配。

这是理解全文最关键的一张概念图，用一图讲清SCRL的动机与核心主张，读者应首先通过它建立直觉：为何子问题能提供比最终答案密集得多的梯度。