重新思考 LLM 推理的强化学习：本质是稀疏策略选择，而非能力学习

RL 只在 1-3% 高熵分叉点重排序，REASONMAXXER 无需 RL 即匹敌完整训练

前置知识

RLVR 与 GRPO

RLVR（可验证奖励强化学习）用二值奖励训练 LLM，主流算法 GRPO 对每个 prompt 采样 $G$ 条 rollout，按组内归一化得到 advantage $\hat{A}_i$，对每个 token 施加裁剪替代目标。

本文核心论点建立在 RLVR 之上，所有机制分析都以 GRPO/PPO/RLOO 训练的 checkpoint 为对象，理解 baseline 训练方式才能看懂后续的对比。

Token 级熵与决策点

自回归生成时位置 $t$ 的熵 $H_t = -\sum_{v\in V} \pi_\theta(v\mid q,o_{<t})\log \pi_\theta(v\mid q,o_{<t})$ 衡量模型对下一步的不确定度；高熵位置即"分叉 token"。

本文用基模型自身的熵定位 RL 的干预点（阈值 $\tau$），理解这个信号才能看明白为什么不需要教师模型就能复用 RL 收益。

LoRA 与低秩适配器

LoRA 用低秩矩阵 $\Delta W = BA$（$B\in\mathbb{R}^{d\times r}, A\in\mathbb{R}^{r\times k}$，$r\ll d$）冻结原权重、仅训练适配器，可训练参数往往只占模型的 0.1%-1%。

KL-LoRA 蒸馏与 REASONMAXXER 都依赖 LoRA 实现"低维修正"，论文声称只需 0.27-0.49% 参数即可吸收完整 RL 信号，这是核心论证之一。

pass@k 与 edge of competence

pass@k 指 k 次独立采样中至少一次正确的概率；edge of competence 概念指模型"能力边缘"——基模型在该题上既有对的也有错的样本，0 < pass@k < 1。

本文筛选训练题目的核心条件就是"通过率严格介于 0 和 1 之间"，只有这种题目才能提供双向对比监督，没有这个机制结论无法落地。

研究动机

RLVR（GRPO/PPO）已成为 LLM 推理后训练的事实标准，但 OpenAI o1、DeepSeek-R1、Qwen3 等系统的成功都被默认归因于"RL 让模型学会新推理策略"。本文列举了直接反例：Yue 等人 2025 年的 pass@k 分析显示 base 模型在 $k$ 很大时反而比 RL 后模型命中更高，说明正确答案一直藏在 base 模型的采样分布里；Davis & Recht 2025 证明二值奖励下的 RL 算法都等价于"正确答案概率的单调变换上的随机梯度上升"，因此只在基模型本身就能非平凡成功时才有收益；Zhang 等人 2025 用对照实验证实 RL 仅在模型能力边缘的题上有真增益。然而这些工作都还在 RL 框架内打补丁——Wang 等人 2025a 只是把梯度限制在高熵 token 上，Yue 等人呼吁改进 RL 范式，Karan & Du 2025 仍只做推理时方案——没人系统回答"RL 优化循环本身是否必要"。

本文的目标是在 token 级别系统刻画 RL 对 base 模型的具体改动，并据此判断 RL 优化循环是否可被更轻量的过程替代。具体目标有三：（1）量化"RL 编辑了多少 token、修改了哪些 token、这些 token 是什么位置"；（2）通过 oracle 干预证明这些修改是否因果造成精度提升；（3）若确有因果效应且结构简单，则构造一个完全不需要 RL 训练环的 REASONMAXXER 方法，在六个数学基准、三个模型族、多种 RL 算法上达到与完整 RL 相当或更高的精度，同时把训练成本降低约三个数量级。

与已有工作不同的是，本文的独特切入角度是把"RL 学到了什么"这一机制问题推到 token 级，并严格区分了三件事——RL 改动的稀疏性（在 token 维度的局部性）、低维性（在参数维度的可压缩性）和可预测性（基模型熵能否独立定位干预点）。前人要么做 pass@k 行为分析（Yue 等）、要么做理论证明（Davis & Recht）、要么做梯度限制（Wang 等），但没人把这三件事组合起来并进一步推导出"完全无 RL 的训练方法"。REASONMAXXER 因此不是又一个 SFT/rejection sampling 方案，而是把"机制结论→训练算法"这条链路完整闭合：它只用基模型自身的少量 rollout、只用基模型自身的熵定位决策点、只用 LoRA 适配器（约 0.3% 参数）训练几分钟，就匹配了数千到十万美元级的 RL 训练效果。

核心方法

论文先做机制诊断再做方法构造。诊断部分（§3-§4）证明 RL 的输出改动稀疏、低维、可预测：作者在四个 base/RL 对上做确定性解码，对比每个位置上 base 和 RL 教师选哪个 token，把位置分为 UNSHIFTED/RERANKED/SHIFTED 三类；然后用 oracle 干预（直接用教师 token 替换 RERANKED 位置的 base token 继续生成）证明这一小撮改动即可完全恢复 RL 精度；同时用 KL-LoRA（rank 32，仅 100 题蒸馏）证明整个 RL 信号只占模型 0.27-0.49% 参数即可表征。在此基础上，REASONMAXXER 把诊断结果翻译成训练算法：用 base 模型采 ~1000 条 rollout，筛出 base 通过率介于 0-1 的题目（edge of competence），用基模型熵阈值 $\tau$ 选出 ~2-5% 决策点，在决策点上施加 advantage 加权对比交叉熵（对的提概率、错的降概率），其余位置用 KL 锚定 base 分布，全程用 rank-32 LoRA 适配器冻结基模型训练。

核心创新点是把"RL 训练循环"完全替换为"对比式 offline 适配器训练"，本质区别有三点：（1）无需在线 rollout —— 训练样本是一次性采好的，与 policy 解耦，避免 GRPO 类算法的 on-policy 探索开销；（2）信号定位精细化 —— 损失仅作用在 1-3% 高熵决策点上，其余位置用 KL 锚定保留 base 行为，与 GRPO 在每个 token 都加梯度的均匀更新形成对照；（3）双向对比而非单向 SFT —— 同时使用正确与错误 rollout 的 advantage，避免了 STaR/rejection sampling FT 只学"对的"导致精度天花板较低的局限。整个方法建立在 RL 信号结构稀疏低维这一实证基础上，因此训练数据量（~50 题、~1000 条序列）和参数量（rank-32 LoRA，< 0.5%）都可以被严格压缩。

方法步骤详情

REASONMAXXER 训练分三步。问题筛选：从 150 道数学题每题采 20 条 rollout（$T>0$），仅保留基模型通过率 $0<\bar{r}<1$ 的题目（本文 50 道、1000 条序列），过滤"总是对/总是不对"的题。决策点定位：离线计算基模型各位置熵 $H_t$，按模型族取阈值 $\tau$（决策点占 2-5%），得 $\mathcal{D}=\{t\mid H_t>\tau\}$，无需教师模型。训练：损失 $\mathcal{L}=\mathcal{L}_{\text{dec}}+\lambda\mathcal{L}_{\text{anchor}}$，其中 $\mathcal{L}_{\text{dec}}=-\sum_{t\in\mathcal{D}}A_i\log p_\theta(x_t\mid x_{<t})$ 是 advantage 加权 CE（正样本提概率、负样本降概率），$\mathcal{L}_{\text{anchor}}=\sum_{t\notin\mathcal{D}}\mathrm{KL}(p_{\text{base}}\|p_\theta)$ 锚定基分布；组内做 $A_i=(r_i-\bar{r})/(\sigma_r+\epsilon)$ 防类别失衡；用 rank-32 LoRA 冻结基模型训练 1 epoch。诊断阶段用 KL-LoRA 缓存教师 logits 后做 KL 蒸馏，100 题即可复现 RL 教师精度。

技术新颖性

技术新颖性集中在三处机制发现与算法化：（1）首次严格区分 RERANKED vs SHIFTED 并量化 RL 改动的"保守性"——教师 token 在 base top-5 内的比例为 100%，平均 rank 2.14-2.39，确立"RL 不引入新 token"这一强结论；（2）首次用 entropy-gated oracle intervention 替代"教师知情" oracle，证实仅用基模型自身熵选位置也能匹配 oracle 精度，把 teacher 信号替换为 self-signal；（3）首次把"edge of competence"的题目筛选做成显式训练前置条件并做消融，证明正负双向对比项各贡献约一半增益（Qwen2.5-1.5B 在 MATH-500 去掉负项仅 0.398，全方法 0.502）。与 TINA（LoRA 约束 RL）、STaR（自采样 SFT）、DPO（序列级偏好）相比，REASONMAXXER 是首个以 token 级稀疏决策点为设计目标、完全 RL-free 的方法，并在数学推理基准上取得与 full RL 相当或更优的成绩。

**Figure 3**: RL's correction is low-dimensional

实验结果

Table 3 在六基准上对比 REASONMAXXER 与公开 RL baseline，覆盖 Qwen2.5（1.5B/7B/Math-7B/32B）、Qwen3（0.6B/4B）、DeepSeek-R1-Distill-1.5B、Mistral-7B 与 GRPO/PPO/RLOO 三种算法。核心数字：Qwen2.5-1.5B 在 MATH-500 取 0.502，超过 SimpleRL-Zoo 的 0.496 与 Open-Reasoner-Zero 的 0.436，成本仅 \$4 vs \$200/\$1,200；Qwen2.5-7B 取 0.706 vs SimpleRL-Zoo 0.656，与 ORZ 0.732 持平但成本 \$5 vs \$6,300；DeepSeek-R1-Distill-1.5B 取 0.662 超过 STILL-3 0.536 与 DeepScaleR 0.502，成本 \$4 vs \$2,268/\$4,500；Qwen3-4B 在 AIME24/AMC23 反超 General-Reasoner（0.096/0.472 vs 0.021/0.050）。诊断侧：Table 2 显示 RERANKED 1.03-3.96%、SHIFTED 仅 0.01-0.12%、熵比 7.58-12.63×、平均 rank 2.14-2.39；Figure 3 显示 rank-32 KL-LoRA 仅 0.27-0.49% 参数即可匹配 RL 教师。

**Table 1**: Model families and RL baselines

**Table 2**: Token-level divergence is minimal and localized

**Table 3**: ReasonMaxxer matches or exceeds RL baselines at dramatically lower training cost

**Figure 2**: Oracle correction recovers RL performance exactly, and entropy-gating largely matches it

**Figure 4**: Sensitivity of REASONMAXXER to the entropy threshold τ

查看结构化数据

任务	指标	本文	基线	提升
Qwen2.5-1.5B → MATH-500	pass@1	0.502 (REASONMAXXER, \$4)	0.496 SimpleRL-Zoo (\$200), 0.436 Open-Reasoner-Zero (\$1,200)	+0.006 vs SimpleRL-Zoo, +0.066 vs Open-Reasoner-Zero；成本降 50×/300×
Qwen2.5-7B → MATH-500	pass@1	0.706 (REASONMAXXER, \$5)	0.656 SimpleRL-Zoo (\$600), 0.732 Open-Reasoner-Zero (\$6,300)	+0.050 vs SimpleRL-Zoo；成本降 120×/1260×，与 ORZ 持平
Qwen2.5-Math-7B → Minerva	pass@1	0.246 (REASONMAXXER, \$5)	0.151 SimpleRL-Zoo (\$600), 0.132 PRIME-Zero (\$190)	+0.095 vs SimpleRL-Zoo, +0.114 vs PRIME-Zero；6 个基准全部超越 baseline
DeepSeek-R1-Distill-1.5B → MATH-500	pass@1	0.662 (REASONMAXXER, \$4)	0.502 DeepScaleR (\$4,500), 0.536 STILL-3 (\$2,268), 0.454 Open-RS3 (\$42)	+0.126 vs STILL-3，6 基准平均 0.401 vs 最强 baseline 0.356
Qwen3-4B → AIME24 / AMC23	pass@1 (avg@8)	0.096 / 0.472 (REASONMAXXER, \$4)	0.021 / 0.050 General-Reasoner (\$4,600)	AIME24 +0.075，AMC23 +0.422；6 基准平均 +0.070
Qwen3-0.6B → 6 基准平均	pass@1 / avg@8	0.278 (REASONMAXXER, \$4)	0.200 GRPO (\$100)	+0.078；GSM8K 0.656 vs 0.503 (+0.153)

局限与改进

作者明确指出几点局限：（1）评估仅限数学推理基准（MATH-500/GSM8K/Minerva/Olympiad/AIME/AMC），代码、开放式 QA、多模态等场景未验证；（2）REASONMAXXER 依赖基模型能产生"既有对也有错"的题目，对能力极弱（如 Mistral-7B 的 Olympiad 0%）或极强（已近饱和）的模型提升有限；（3）摘要仅用 ~50 道题 + ~1000 条序列，对 base 模型分布外题目的迁移能力未充分验证；（4）消融仅做了 $\tau$ 灵敏度与正/负对比项，未做 LoRA rank、训练数据量、采样温度的系统 sweep。作者未充分讨论但读者应注意的隐含限制包括：阈值 $\tau$ 需要"模型族特定"调参，$\lambda$ 平衡 anchor 与决策点 loss 是经验选择；训练集仅 50 题时若题目偏科可能放大过拟合风险；当前只对已公开发布的 base/RL 对做对比，对自训 RL 的可重复性未独立验证。

独立分析的弱点

独立观察到的几个弱点及改进方向：（1）$\tau$ 需要"模型族特定"调参，可改成"自适应阈值（如每层/每 token 取 top-p%）"以减少调参成本；（2）KL 锚定项与对比项的权重 $\lambda$ 文中未充分讨论，且两者梯度幅度差异显著，可借鉴 DPO 类自适应温度或 RLOO 的 advantage clipping 来稳定训练；（3）edge of competence 的题目筛选依赖 verifier，错误 verifier 会污染训练信号，应结合 LLM-as-judge + 程序化校验双路验证；（4）对比 baseline 都是公开 checkpoint，但 base 模型自身的采样温度、解码策略在不同论文里差异较大，跨论文公平性受限，应在统一解码协议下做 head-to-head；（5）Mistral-7B 上 REASONMAXXER 平均仅从 0.056 升至 0.089，说明 base 能力太弱时方法难以独立弥补差距，应结合 base 自身的拒绝采样或弱监督 SFT 预热。

未来方向

作者提出的方向包括：把方法推广到非数学推理（代码、Agent、多模态）并验证稀疏决策点假设是否普适；与推理时早退方法（如 DEER、LYNX）结合实现"训练+推理"两端稀疏化；以及探索 RL 改动的更紧致压缩（如 rank-8 仅 output projection 已观察到接近 rank-32 全注意力的效果）。基于论文成果可自然延伸的方向有：（1）将熵阈值与 self-consistency / 多数投票结合，用模型自身 confidence 动态决定干预强度；（2）把 REASONMAXXER 当作"RL 启动加速器"，先用它预热再用轻量 RL 微调，可能进一步突破现有 RL 的性能天花板；（3）用 mechanistic interpretability 工具（如 attention head 消融、激活 patching）解释为什么仅 0.3% 参数的 LoRA 就能捕获 RL 信号；（4）研究该方法在 safety alignment、tool-use 等任务上的迁移性，验证"sparse policy selection"是否为 LLM 后训练的一般规律。

复现评估

论文在 §6.1 与附录 B/C/D 公开了较完整训练配置：rank-32 LoRA 装在 $W_{Q/K/V/O}$、150 题池筛 50、单 epoch、$\tau$ 由模型族 sweep 选取、\$4-25 单卡（RTX Pro 6000 96GB）成本。但仍有若干复现障碍：（1）作者未承诺开源 REASONMAXXER 训练代码与数据集，"150 题筛 50 道"的具体题号列表未给出；（2）KL-LoRA "100 题蒸馏"的题目也未公开；（3）\$4-25 成本估算基于 RunPod 即时定价，使用自有 GPU 时实际时间会显著更长，附录 D 中 baseline 成本多为"根据官方脚本推算的估计值"；（4）AMC/AIME/Olympiad 无标准 pass@1 协议，本文用 avg@8 缓解但仍有方差。整体复现难度中等偏高，建议按附录 B 在 Qwen2.5-1.5B + MATH-500 上先做 sanity check。

重新思考 LLM 推理的强化学习：本质是稀疏策略选择，而非能力学习 Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning