强化学习能否教会大语言模型长链推理？逻辑表达力才是关键 Can RL Teach Long-Horizon Reasoning to LLMs? Expressiveness Is Key
RL训练算力随推理深度呈幂律,逻辑表达力决定幂律指数。
前置知识
可验证奖励的强化学习 (RLVR)
用规则化、可自动判分的奖励(如数学最终答案对错、代码是否通过测试)替代人类偏好奖励,在大语言模型上做后训练的一类RL方法。已在数学、代码、逻辑推理领域成为GRPO/DAPO的标配范式。
本文正是用RLVR在合成逻辑题上训模型,reward仅为0/1的exact match,不熟悉RLVR就难以理解为何奖励可以这么简单又有效。
GRPO与DAPO
GRPO对每个prompt采样G条completion,用组内reward的归一化优势做PPO式token级裁剪优化,省去单独的价值网络。DAPO在此基础上加dynamic sampling和clip-higher两个trick以提升长CoT效率。
论文主算法为DAPO,并对比GRPO与GSPO;不理解组内归一化与token级policy ratio就读不懂公式1与跨算法对比实验的设计动机。
长链/长程推理 (long-horizon reasoning)
需沿很长推理链逐步组合多步才能得出答案的任务。推理步数线性增长时,模型正确率常呈阶跃或指数式坍塌,部分研究将其归因于自回归Transformer架构自身的局限。
这是本文要正面回应的争议:长链塌缩到底是架构问题还是训练数据问题,作者用受控合成实验给出经验性反驳。
逻辑表达力 (logical expressiveness)
指逻辑系统能表达的语句复杂度,通常从只含 $\to$ 的蕴涵命题逻辑出发,逐档加入 $\land$ 合取、$\lnot$ 否定、$\lor$ 析取直至 $\forall$ 全称量词进入一阶片段。表达力越丰富,可表达结构与组合爆炸越多,推理难度相应上升。
本文核心自变量即'逻辑表达力',作者沿五档严格递增的逻辑系统扫描'表达力→幂律指数'的单调关系。
幂律缩放 (power-law scaling)
在ML语境指损失或资源消耗与某规模量(参数、数据量、训练步数、推理深度)服从 $y=a\cdot x^\gamma$ 的关系,在log-log图上呈直线,指数 $\gamma$ 决定'加倍规模所需的代价'。
本文的核心发现是 $T\propto D^\gamma$ ($T$:达到90%准确率的RL训练步数;$D$:证明树深度), $R^2>0.99$,且 $\gamma$ 从1.04单调升至2.60,这是后续所有结论的统计支柱。
研究动机
近年RL大幅推动了LLM推理,但一旦任务需要很长的推理链,性能常出现明显塌缩:即便每个子任务单独可解,串成多步依赖后整体正确率往往呈指数或sigmoid式下降(Rameshkumar 2025、SeqBench、GSM-Infinite)。这一'长链塌缩'使部分研究者怀疑它是自回归Transformer架构的固有缺陷(Saparov 2025、Bachmann 2024)。与此同时,既有RL训练数据普遍缺乏两个关键属性——可控的推理horizon与可控的逻辑表达力:math/code可验证但难扩展且难控;游戏类、Knights-and-Knaves、自演化流水线虽便宜但horizon控制粗糙、表达力不可调;SAT、G1、Puzzle Suites虽可扩但本质是NP难搜索,无法分离深度与表达力的独立贡献。Table 1 显示现有数据源在四项属性中至少缺一项。
本文的目标是本文有三项目标:(1)构造同时满足可验证、可扩展、horizon可控、表达力可控四项标准的新型合成逻辑环境SCALELOGIC,补齐Table 1的空白;(2)在受控环境下系统回答'RL训练算力如何随推理深度与逻辑表达力缩放',是否服从幂律、谁决定指数;(3)验证这套合成训练能否迁移到AIME、MATH-500、GPQA等真实数学与通用推理bench,以及表达力如何影响迁移收益。最终在8个下游推理基准上以最富表达力的+Quantification档拿到60.05%,相对Qwen3-4B基线49.39%绝对提升+10.66pp。
与已有工作不同的是，作者独特地把推理难度拆成两个正交可调维度——证明树深度 $D$(控制horizon)与逻辑算子集合(控制表达力),并在固定候选数 $B=4$ 的单选可验证书上做严格受控实验。区别于Knights-and-Knaves、SAT、Game-based等既有合成环境(只能粗调horizon或只会调到NP难搜索),SCALELOGIC既能让每个深度oracle线性求解,又能逐档追加 $\land, \lnot, \lor, \forall$ 精细加压,使'表达力→训练成本→下游迁移'三个量第一次能被干净地解耦。
核心方法
SCALELOGIC把一次逻辑推理建模成多选题:模型看一组事实与若干候选结论,挑出唯一可被推导的那一个,答案可机械判定因而reward可自动校验。环境两个难度旋钮正交:(i)证明树深度 $D$(每多一层就要求多步推理);(ii)逻辑算子集合 $\{\to\}$ / $+\{\land\}$ / $+\{\lnot\}$ / $+\{\lor\}$ / $+\{\forall\}$。生成时从 $B$ 个候选结论的根出发,用'反向递归'逐层生成字面量作为前提,直至深度 $D$ 的叶子成为字面事实;保留一棵完整证明,另 $B-1$ 棵各破坏一条axiom制造干扰,再用模板把谓词和实体随机化为自然语言。RL阶段用DAPO(GRPO的动态采样+clip-higher扩展)在Qwen3-4B上做后训练,reward为二元exact match。
核心创新是把'逻辑表达力'独立成可调参数,并在同一受控环境中做严格强对照扫描,这在RL+LLM数据源中从未做到。具体三点本质区别于既有方法:(1)反向构造+独特谓词保证每个候选有唯一证明,迫使模型不能抄'局部捷径';(2)同一骨架任务沿五档语法严格递增收紧,使每次难度增量可明确归因于新增的逻辑算子;(3)以'达到90% held-out准确率的RL步数 $T$'为度量在log-log下拟合 $T=a\cdot D^\gamma$,由此得到'表达力→幂律指数'的干净对应关系,这是把'训练什么而非训多少'定量化分离的关键。
方法步骤详情
环境构造分四步:第一步采样 $B$ 个根字面量,每个根递归地给叶节点加children,parent作conclusion、children作premises,新谓词唯一化以保证唯一溯源,直至深度 $D$;第二步保留一棵完整证明,其余 $B-1$ 棵各随机抽一条axiom做删除或极性反转破坏,并插入少量混淆性规则;第三步用模板把字面量、谓词与规则翻译为自然语言,实体与谓词随机生成,产出形如'若Alice有毛且为脊椎动物则其为哺乳动物;以下哪个结论可被推出'的多选题。第四步RL训练:对每个prompt用DAPO采样 $G$ 条completion,用组内reward的归一化优势做PPO式裁剪更新;reward为把completion中 $\texttt{...}$ 解析出的内容与gold做exact match,匹配1、不匹配或格式错0。任务配置:固定 $B=4$、训练集10万样本单epoch、验证集1000;主模型Qwen3-4B非思维版、Qwen3-8B作跨规模复现;主算法DAPO,对比GRPO与GSPO验证幂律稳健性。
技术新颖性
技术新颖性分三层。环境层面:Table 1所列数据源中,SCALELOGIC是唯一同时具备'exact verifiable+scalable+controllable horizon+controllable expressiveness'四项属性的方法;Knights-and-Knaves和SAT只能间接调horizon,Puzzle Suites只在NP-hard层变化,无法先固定深度再调节表达力。经验层面:首次报告 $T\propto D^\gamma$ 的指数 $\gamma$ 随逻辑算子单调递增(1.04→1.72→1.81→2.11→2.60),用 $\Delta\text{AIC}\geq +7.1$ 排除指数替代;固定 $D=12$(+0.49→+8.10)与固定~100步(+2.32→+6.33)两种控制下,迁移均随表达力单调。方法层面:把幂律扩展到GRPO(2.05)与GSPO(1.65),$R^2>0.99$,证明幂律非DAPO特有,curriculum把+Conjunction档 $\gamma$ 从1.70降至1.33。
实验结果
核心实验(Qwen3-4B非思维版+DAPO)得到五组关键数字。(1)幂律缩放: $T=a\cdot D^\gamma$,$R^2>0.99$,$\gamma$ 从Implication-only的1.04单调升至+Quantification的2.60,深度翻倍时训练成本由2倍涨到~6倍,$\Delta\text{AIC}\geq+7.1$排除指数模型。(2)下游迁移:8-bench平均从49.39%升至+Quantification档60.05%(414步),+10.66 pp;固定 $D=12$ 控制+0.49→+8.10,固定~100步控制+2.32→+6.33,均单调随表达力。(3)训练分布:+Conjunction档 curriculum $\gamma=1.33$ < uniform 1.70 < difficult-only 2.36。(4)跨算法稳健:DAPO 1.70、GRPO 2.05、GSPO 1.65均拟合幂律,$R^2>0.99$。(5)OOD有界:归一化后约在 $D_\text{test}/D_\text{train}\approx 3$ 处坍至随机。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 8-bench下游推理平均(AIME24/25、AMC23、MATH-500、Minerva、OlympiadBench-text、GPQA-Diamond、MMLU-Pro STEM) | Avg@8 平均准确率(8个bench均值,8次独立采样平均) | +Quantification档最终60.05%(414 RL steps) | Qwen3-4B非思维版 base 49.39% | +10.66 pp 绝对提升;表达力从Implication-only到+Quantification五档单调上升 |
| 固定horizon(D=12)控制下的迁移 | 8-bench平均准确率绝对增量 | Implication-only +0.49 → +Conjunction +2.32 → +Negation ~ → +Disjunction → +Quantification +8.10 | Qwen3-4B base 49.39% | horizon对齐后表达力仍单调:+0.49→+8.10,排除深度贡献 |
| 固定~100 RL steps控制下的迁移 | 8-bench平均准确率绝对增量 | Implication-only +2.32 → +Quantification +6.33 | Qwen3-4B base 49.39% | 相同budget下Implication-only仅+2.32,而+Quantification高达+6.33,验证'训什么决定迁移多少' |
| +Conjunction档训练分布对比 | 幂律拟合指数 $\gamma$ | curriculum $\gamma=1.33$、uniform $\gamma=1.70$ | difficult-only $\gamma=2.36$ | curriculum相比difficult-only降 $\gamma$ 达1.03,显著改善缩放效率 |
| RL算法稳健性(+Conjunction档) | 幂律拟合指数 $\gamma$ / $R^2$ | DAPO $\gamma=1.70,R^2=0.995$;GSPO $\gamma=1.65,R^2=0.997$ | GRPO $\gamma=2.05,R^2=0.998$ | 三种算法都呈幂律,$R^2>0.99$;DAPO/GSPO比GRPO更平缓,$\gamma$低约0.4 |
| OOD泛化(+Quantification档) | 测试准确率 vs $D_\text{test}/D_\text{train}$ | Dtrain=12、14的两条曲线在归一化后近似重合,约在~3×训练深度处掉到随机水平 | Qwen3-4B base(随机水平) | 训练深度提升可线性外推到~3×训练深度,但'架构极限'未被真正消除 |
局限与改进
作者坦率承认三点局限:(1)所有实验仅在Qwen3-4B非思维版完成,Qwen3-8B只做了小规模复现,推广到10B+或带'思考链'的推理模型上是否仍成立未给出;(2)逻辑算子只覆盖 $\to,\land,\lnot,\lor,\forall$ 五档,等式、高阶、非单调、多实体关系结构都未触及;(3)缺乏形式化理论解释为何 $\gamma$ 随算子单调上升,作者将其留作'未来工作'。我的额外观察:(i)任务形式是4选1多选、二元exact match reward,无法探究partial credit或process reward;(ii)单变量深度上限~32,更深的链是否保持幂律需专门实验;(iii)基模型只用Qwen系列、训练规模仅10万/档单epoch,在更大模型/数据上 $\gamma$ 的单调性是否维持未知;(iv)8个下游bench与SCALELOGIC的'虚构谓词+多步推导'差距大,'长链推理'作为中介变量是否真正介导迁移,论文未做细致消融。
独立分析的弱点
独立审视可识别若干技术弱点。(1)二元reward可能掩盖部分进展:多选上将'选A改成B'的reward骤降为0,易使策略梯度方差偏大、收敛变慢,用per-step软reward或listwise margin可能有利;(2)反向构造虽保证每条证明唯一,也意味着训练-测试分布高度同质,在更大 $D$ 或加入rule permutation扰动后是否仍泛化缺乏硬测试;(3)'破坏一个axiom'的负采样过轻量,易让模型学到局部shortcut,需要将破坏随机化到任意位置/多种强度;(4) $\gamma$ 增量不均匀(Implication→+Conj涨0.68、+Conj→+Neg仅涨0.09、+Neg→+Disj涨0.30),+Negation与+Conjunction之间差异的内在机理未进一步剖析;(5)下游bench的domain gap巨大,$\Delta$ +10.66 pp能否复制到更强的Reasoning模型上不被instruction tuning淹没未被验证;(6)未给出 $\gamma$ 跨模型规模的系统扫描,只在Qwen3-4B与3-8B两档做了次要复现。
未来方向
作者明确提出三条:(a)在更大模型与更广RL设定下验证幂律是否成立;(b)把逻辑片段扩到equality、higher-order、non-monotonic、多实体关系等更丰富逻辑,寻找新缩放域;(c)给出 $\gamma$ 随表达力单调上升的形式化解释。基于本文数据可延伸:(1)把二元exact match替换为per-step process reward或listwise margin reward,研究reward granularity与 $\gamma$ 的关系;(2)将SCALELOGIC作为'合成预训练'用作下游数学RL的warm-start,看表达力档是否依然主导迁移;(3)在同一设置下扫描候选数 $B\in\{2,4,8,16\}$,考察另一维难度是否同样能引入新 $\gamma$ 档位(Appendix I.1已给出初步);(4)对+Q档的规则实例化建模为type-inference,考察受控skolemization能否更清晰分析;(5)用paraphrasing改变题面自然语言,排除当前potential confounder。
复现评估
总体可复现性较好但实现成本不低。代码已开源在github.com/wtl666wtl/ScaleLogic2026;主实验在Qwen3-4B非思维版上完成,使用verl库+DAPO,主要超参与prompt模板见Appendix F与G;reward与答案格式完全公开。需要的算力相对集中:(i)验证幂律 $\gamma$ 需在5档逻辑各扫 $D\in\{4,8,12,16,24,32,64,128\}$,每档多seed(Figure 2a);(ii)Figure 4a在+Conjunction档做uniform/curriculum/difficult-only三种分布,每 $D$ 各3 seed;(iii)Figure 4b 再加GRPO/GSPO各3 seed;(iv)主表总计'5档逻辑×8 seed×7深度'即280+训练run级别,4×80G H100/A100可在一周内完成主曲线。Appendix I.5 给出Qwen3-8B小规模复现作为参考基线。核心风险是GPU时间、verl+DAPO环境正确配置,以及把Qwen3-4B非思维版与微调工具栈对齐。
论文图表
