通过强化学习激励大语言模型的自主学习能力 Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
以教科书证明任务为载体，用细粒度RL奖励教会LLM边读边学自主解题
前置知识
GRPO（Group Relative Policy Optimization，组相对策略优化）
一种免价值网络（critic-free）的策略优化算法，是 PPO 的简化变体。它对同一问题并行采样一组轨迹，用组内平均奖励作为基线，得到每条轨迹的相对优势 $A = R - \bar{R}$，再按 PPO 式的概率比率裁剪目标更新策略。省去训练价值模型的开销与偏差，是 DeepSeek-R1 等数学推理 RL 工作的主流选择。本文以 GRPO 为骨架，把轨迹级优势进一步按轮重新分配（公式 7、8）。
本文的轮级工具信用与探索奖励都建立在 GRPO 的优势估计之上，不懂它就看不懂核心公式。
稀疏结果奖励与信用分配
在多轮智能体任务中，若奖励只在轨迹终点给出（如最终答案的对错），中间每步检索、推理都得不到反馈，这就是稀疏结果奖励问题。信用分配（credit assignment）要回答的是：这条轨迹成功了，其中哪几步功不可没、哪几步是无效操作？常见解法包括过程奖励模型、步级打分和优势再分配。本文的轮级工具信用就是一种轻量级的过程信用分配方案。
论文的两个奖励组件正是为了解决只用最终对错训练多轮工具调用时，探索坍缩与无效调用被强化的问题。
检索增强生成与检索智能体
RAG 在推理时从外部文档库检索相关文本拼入上下文再作答；检索智能体（如 Search-R1、R1-Searcher，以及 ReAct 范式）更进一步，让模型在生成过程中交错发起搜索请求并消化返回结果，可用强化学习端到端训练。本文的 BookNavigator 接口在形式上类似检索工具，但任务要求的是学习原理并自己推导，而非检索到答案片段。
论文的固定检索基线（Top-k Sections、Long-Context）都源自这一范式，理解其局限才能看懂 Self-Learning 赢在哪里。
LLM-as-Judge 与悲观验证
用一个强 LLM 代替人工评判生成质量。本文用 GLM-5.2 评估证明正确性，采用 8-shot 悲观验证：8 次独立评审全部判对才给 $r(\tau)=1$，任何一次判错即记 $-1$，以此压低假阳性。工具裁判则用冻结的初始模型副本，逐轮评估工具调用是否有用。判官是 RL 奖励的唯一来源，其可靠性直接决定训练成败与结论可信度。
整个训练信号都来自判官，理解其协议才能评估实验结果的可信度与潜在偏差。
研究动机
现有大语言模型解决知识密集型问题依赖两条路径：预训练获得的参数化知识，以及 RAG 式的外部检索。但在陌生领域，仅仅拿到相关信息远远不够——模型必须理解新原理、判断其适用范围，并把它们融进正在推进的推导过程中。已有工作只覆盖了这一挑战的局部：Search-R1、R1-Searcher 等检索智能体用强化学习训练边搜边答，但任务本质仍是检索到能直接支撑答案的片段；上下文学习研究考察从给定材料中获取知识，但材料是预先拼装好的静态上下文；元强化学习与测试时适应方法则依赖跨尝试的环境反馈或权重更新。没有一个方法要求模型在单次解题过程中，自主决定从静态的长篇参考资料里学什么、怎么学，并把所学整合成严格推导。本文用教科书场景把这一缺口具体化：当习题参考答案被抽走、无法检索时，模型的学习能力本身成为被考察和训练的对象。
本文的目标是本文的目标是训练出一种可迁移的自学习（self-learning）策略：给定一道数学证明题和一本结构化教材——其中定义、定理及一般性证明保留，但习题参考答案被移除——模型需在最多 8 轮交互、64k token 预算内，通过研读与推理交错，自主定位并学习相关章节，构造出被 LLM 判官认可的证明。可量化的目标包括：让 Intern-S2-Preview-35B 的总体证明正确率从 51.5% 提升到 79.5%；在域内教材（ID-Book，205 题）、未见教材（OOD-Book，155 题）、未见学科概率统计（OOD-Subject，266 题）三个划分上全面超越免教材（No-Book）与三种固定检索基线；并把学到的策略零样本迁移到 BrowseComp-Plus 和 CL-bench 这两类任务类型完全不同的长上下文基准上，以证明策略是领域无关的。
与已有工作不同的是，切入点有两条，都针对被忽视的点。其一是任务设计：本文把习题与参考答案从教材正文中剥离，构造参考解不可见的证明任务，从机制上堵死检索到答案的捷径。这与 Search-R1 式检索 RL 有本质区别——后者只要检索到含答案的文档即可得分，而本文的模型必须研读定义与定理后自己构造推导，RL 信号因此真正作用于知识获取与应用能力。其二是奖励设计：论文观察到只用最终证明正确性做奖励时，模型随解题能力增强会抛弃教材（工具使用轨迹占比从 36.9% 跌至 6.7%），于是提出正确性门控的退火探索奖励与轮级工具信用。对比 StepSearch、SLATE、IG-Search 等过程奖励方案需要标准答案参与打分，本文的工具裁判接触不到参考解和最终判决，仅凭冻结的初始策略即可运作，训练成本和泄漏风险都更低。
核心方法
方法的直觉来自人类自学：拿到新题目，先翻目录把握全书结构，再按关键词定位可能的章节，细读定义与定理及其证明，然后动笔推导，发现知识缺口再回头补课。技术路线分三步。第一步，数据构建：端到端流水线把 158 本本科与研究生数学教材（覆盖分析、代数、数论、几何等）解析成章节索引的文本序列，抽出习题并与源教材关联，剔除显式引用节号的题目、移除参考答案，得到 5,183 道证明题；平均每本教材 56 节、约 208k token，构成需要跨节整合知识的长篇学习环境。第二步，接口设计：BookNavigator 提供 get_toc（返回全目录）、search_index（关键词检索并返回章节号与匹配片段）、read_section（读取整节全文）三类动作，模型最多交互 8 轮、轨迹上限 64k token。第三步，训练：从 Intern-S2-Preview-35B 出发，用改造过的 GRPO 跑 50 个 rollout step，叠加退火探索奖励与轮级工具信用两项细粒度奖励。
核心创新是任务不可作弊与奖励够细粒度的组合。奖励层面，最终证明正确性 $r(\tau)\in\{-1,1\}$ 是稀疏信号，作者补了两刀。一是退火探索奖励 $R_n(\tau)=r(\tau)+\beta_n b(\tau)\mathbb{I}[r(\tau)=1]$：只要证明正确且至少成功调用一次工具就追加 $b(\tau)=1$，权重 $\beta_n$ 按 cosine 日程从 1 退火到 0.25，早期强力鼓励查书、后期保留较小激励，防止模型解题能力变强后彻底抛弃教材——消融显示仅用正确性奖励时工具轨迹占比会从 36.9% 崩到 6.7%。二是轮级工具信用：由冻结的初始策略当裁判，依据问题、历史观测和下一轮推理给每轮调用打 useful/neutral/harmful 三档标签，再按 $\tilde{A}_t=A+\alpha|A|(c_t-\bar{c})$ 把轨迹级优势按轮重新分配到 token 上，中心化处理保证 token 加权均值优势仍为 $A$。两项机制分别解决不肯查书和查了白查两个互补问题。
方法步骤详情
流程分六步。(1) 数据构建：解析教材为章节序列 $\mathcal{B}=(s_1,\dots,s_K)$，每节 $s_k=(\iota_k,\ell_k,x_k)$ 含节号、标题、保留文本；抽取习题并移除解答、剔除引用节号的题目，得到 5,183 道证明题（训练 4,557 题/132 本）。(2) 轨迹生成：非终止轮 $t$ 策略基于问题与历史 $(z_i,a_i,o_i)_{i=1}^{t-1}$ 生成推理 $z_t$ 和动作 $a_t$（get_toc/search_index/read_section 三选一），环境返回观测 $o_t$；终止轮输出最终证明 $\hat{y}$。(3) 结果奖励：GLM-5.2 对照参考解 $y^\star$ 做 8-shot 悲观验证，8 次独立评审全对才 $r(\tau)=1$，否则 $-1$。(4) 轨迹级奖励：正确且含至少一次成功调用的轨迹得 $b(\tau)=1$，权重 $\beta_n$ 从 1 cosine 退火到 0.25。(5) 轮级信用：冻结初始模型裁判逐轮打 useful/neutral/harmful，映射 $c_t=1/1/0.5$，按 $\tilde{A}_t=A+\alpha|A|(c_t-\bar{c})$（$\alpha=1$）再分配优势，工具观测不计入策略损失。(6) 优化评测：改造后 GRPO 更新 50 step，每题采样 4 条轨迹报均值。
技术新颖性
与最近邻工作的区别清晰。对比 Search-R1、R1-Searcher、MARAG-R1：它们以最终答案正确性为奖励训练检索策略，任务是检索到答案；本文是检索到原理再自己推导，且答案根本不在参考资料里。对比 StepSearch（步级信息增益）、SLATE（共享前缀截断采样加分解过程奖励）、IG-Search（gold answer 似然增益）：这些过程信号都需要标准答案参与打分，而本文的工具裁判只看交互上下文和下一轮推理，接触不到参考解与最终判决，用冻结的初始策略即可，且再分配时做 token 加权居中以保持轨迹级均值优势不变。对比 Reflexion、MCTR、LaMer、SEAL 等元学习与测试时适应路线：那些依赖跨尝试反馈或测试时权重更新，本文在单次解题回合内完成知识获取，无重复尝试、无测试时训练。把长篇自监督语料（教材）本身当作 RL 训练环境的思路也是本文独有的定位。
实验结果
核心结果四组。(1) 主实验（Table 1）：RL 前 Self-Learning 总体正确率 51.5%，低于 No-Book 的 55.7% 和全部固定检索基线；RL 后跃升至 79.5%（+28.0 pts），ID-Book 33.9→65.5、OOD-Book 65.2→85.2、OOD-Subject 56.8→86.7，超过最强基线 Top-k Sections（73.1%）6.4 pts、No-Book（68.5%）11.0 pts。(2) 增益归因（Table 2）：+RL 模型无教材时达 71.7%（基座 55.7%），独立推理增强 +16.0 pts；配对教材 79.5% 仍高出 7.8 pts，教材贡献真实；换同主题教材 75.2%、删源节邻域 74.6%，均高于 71.7%，排除死记源教材；删随机 9 节几乎不掉（79.8%），删源节掉 5.2 pts，价值集中在源内容附近。(3) 跨任务迁移（Table 3）：BrowseComp-Plus 50.2→51.9（+1.7）；CL-bench 14.8→17.1（+2.3，DKR +4.5、EDS +5.0、RSA +1.2、PTE -0.6）；固定检索协议在 BrowseComp-Plus 上全部低于基座。(4) 消融（Table 4）：仅正确性奖励 74.9%，工具轨迹占比从 36.9% 崩到 6.7%；加探索奖励 77.0%（工具轨迹 79.9%）；两者结合 79.5%（工具轨迹 58.4%、3.0 次/轨迹），探索激励与过程信用互补且不过度调用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学证明·总体（ID-Book/OOD-Book/OOD-Subject 共 626 题） | 证明正确率（每题 4 次采样均值） | Self-Learning RL 79.5%（基座 51.5%） | 最强固定检索 Top-k Sections RL 73.1%；No-Book RL 68.5% | 对基座 +28.0 pts；对最强基线 +6.4 pts |
| 数学证明·ID-Book（4 本训练教材的 held-out 205 题） | 证明正确率 | 65.5% | 同协议基座 33.9% | +31.5 pts（五个协议中提升最大） |
| 数学证明·OOD-Book（7 本未见教材，155 题） | 证明正确率 | 85.2% | Top-k Sections RL 81.0% | +4.2 pts；对基座 +20.0 pts |
| 数学证明·OOD-Subject（19 本概率统计教材，266 题） | 证明正确率 | 86.7% | Top-k Sections RL 81.3% | +5.4 pts；对基座 +29.9 pts |
| BrowseComp-Plus（迭代信息检索，BM25 原协议） | 准确率 | 51.9% | 基座 50.2%；其他 RL 协议 48.2–49.9%（均为负增益） | +1.7 pts |
| CL-bench（长上下文学习，DKR/RSA/PTE/EDS 四类） | 总分 | 17.1% | 基座 14.8%；No-Book RL 16.2% | +2.3 pts |
| 消融·完整方法 vs 正确性-only RL（同 Self-Learning 协议） | 总体证明正确率 | 79.5%（工具轨迹占比 58.4%，3.0 次调用/轨迹） | 正确性-only GRPO 74.9%（工具轨迹占比仅 6.7%，0.3 次/轨迹） | +4.6 pts |
局限与改进
作者承认的局限：跨任务增益是选择性的——CL-bench 的流程执行（PTE）类别上所有 RL 策略都低于基座（16.6→15.9），作者归因于证明导向训练与忠实执行预定工作流的错配；BrowseComp-Plus 的 +1.7 幅度较小，接近噪声量级。我自己的观察还有五点：其一，奖励完全依赖 GLM-5.2 判官加 8-shot 悲观验证，判官的假阴性（把正确证明判错）会直接污染 RL 信号，也存在向判官偏好过拟合甚至奖励黑客的风险，论文未报告判官与人工评估的一致率；其二，工具裁判是冻结的初始 35B 模型，$c_t$ 只有 0.5/1 两档，信用分配仍粗糙，useful 与 neutral 同分；其三，探索奖励只发给最终正确的轨迹，探索很多但解题失败的轨迹得不到任何鼓励，可能系统性低估探索的价值；其四，任务局限于数学教材这类结构规整、内部自洽的语料，向网页、代码文档等嘈杂语料的迁移未被验证；其五，8 轮交互、64k token 的预算是手工设定，缺乏对预算敏感性的分析。
独立分析的弱点
独立分析出五个弱点。第一，判官瓶颈与奖励黑客：整个 RL 的地面真值来自 GLM-5.2 的 8 次悲观评审，若判官系统性偏爱某种证明风格（比如更长、更公式化的证明），策略会向该风格漂移而非真正提升数学能力。改进方向是对可形式化的子域引入符号验证器（如 Lean）做交叉校验，并用人工标注子集报告判官的假阳/假阴率。第二，工具信用粒度太粗：$c_t\in\{0.5,1\}$ 实际只有有害与否两档，可让裁判输出连续分数，或用同一前缀下有无该调用的反事实对比来精化。第三，正确性门控的探索奖励偏保守：探索充分但最终失败的轨迹完全不受益，改进方向是借鉴信息增益思想，给失败轨迹中的高信息量调用发小额奖励。第四，数据构建的隐性成本：158 本教材的版权获取与解析质量（扫描版、公式密集排版）是流水线的薄弱环节，论文未报告解析错误率，扩展到其他领域语料时这一环节可能成为主要瓶颈。第五，基线公平性：固定检索基线被限制在 64k 输入预算内且生成时不许交互，而 Self-Learning 拥有 8 轮自适应读取机会，部分优势可能来自交互形式本身而非学到的策略。
未来方向
作者提出的方向是把长篇自监督语料（教材）作为强化通用问题解决能力的训练源，走向模型自主进化。基于成果可延伸的方向有五个。一是语料扩展：把同一框架搬到法律条文、API 文档、医学指南、代码库等长篇语料，检验自学习策略的领域无关性是否真如论文所言。二是与测试时适应结合：Self-Learning 管单回合内的知识获取，可与 MCTR、SEAL 式的跨回合记忆或权重更新叠加，形成回合内学习加跨回合学习的两层机制。三是判官升级：用 RL 训练专门的工具裁判或过程奖励模型替代冻结初始策略，或对数学子任务引入可验证奖励（形式化证明 checker）降低判官噪声。四是修补 PTE 短板：混合证明任务与流程执行任务做联合训练，或在奖励中加入约束遵循项，让知识获取能力迁移到忠实执行类任务。五是探索课程化：研究 $\beta_n$ 退火终点、交互轮数上限与任务难度的自适应关系，让探索强度随任务需求动态调整。
复现评估
复现难度偏高。论文正文未提及开源代码、数据或模型权重。要复现需要四样东西：其一，158 本数学教材——版权是最大障碍，且需要实现教材解析、习题抽取、答案剥离的端到端流水线，正文只描述了流程没有给出实现细节；其二，Intern-S2-Preview-35B 作为策略模型、GLM-5.2 作为结果判官，判官 API 成本不低——每个证明要 8 次独立评审，训练 50 个 rollout step、每题 4 次采样，判官调用量巨大；其三，35B 模型的多轮智能体 RL，轨迹上限 64k token，显存与吞吐要求高，推测需要数十张高端 GPU；其四，BookNavigator 的 search_index 是自研的关键词检索（加权词覆盖、词距、精确短语、标题相关性打分），需要自行实现。评测侧因判官协议固定而相对容易对齐。综合判断：若无官方放码，独立复现的主要工作量在数据构建与判官工程上，难度约 8/10；若代码与题目-教材对发布，可降到 5/10 左右。
论文图表
