KnowRL：通过最小充分知识引导的强化学习提升大语言模型推理能力

用原子知识点重构强化学习提示，实现最小充分引导

前置知识

RLVR（可验证奖励强化学习）

RLVR（Reinforcement Learning with Verifiable Rewards）指在数学、代码等任务上用规则验证器给出 0/1 奖励信号，通过 GRPO 等策略优化方法直接训练 LLM。它无需人类偏好标注，扩展性强，但在难题上易出现"组内全部错误"导致的奖励稀疏问题。

KnowRL 正是针对 RLVR 在难题上的奖励稀疏瓶颈而设计，必须理解 RLVR 的奖励结构才能体会其优化动机。

GRPO（组相对策略优化）

GRPO（Group Relative Policy Optimization）对同一问题采样一组 rollout，用组内归一化优势替代 critic 模型。Shao 等 2024 年提出，是 DeepSeek-R1 系列的核心训练算法，本文 KnowRL 也基于此框架实现 KP 引导的策略更新。

理解 GRPO 的组内相对优势机制有助于把握 KP 提示如何改变 rollout 分布，进而打破奖励稀疏。

提示前缀/抽象提示（hint-based RL）

hint-based RL 指在 prompt 中插入部分解法前缀或抽象模板以辅助推理。代表方法包括固定前缀（QuestA、POPE）、自适应前缀（StepHint、UFT）、抽象模板（TAPO、Guide、Scaf-GRPO），本文 KnowRL 属于第四类"原子知识点"路线。

对比不同 hint 设计范式是理解 KnowRL "最小充分"立场的关键，决定了为什么作者要提出 KP 与 CSS。

DeepSeek-R1 与 OpenMath-Nemotron-1.5B

DeepSeek-R1 是教师级强推理模型，被 KnowRL 用来为每题生成正确解并抽取候选知识点（KPs）。OpenMath-Nemotron-1.5B（Moshkov 等 2025）是 KnowRL 的学生基座，针对数学竞赛题进行了专项训练。

KnowRL 的全部实验均建立在 DeepSeek-R1 抽 KP、Nemotron-1.5B 学习 KP 这一师生流水线上，必须了解二者能力差距才能理解 KP 的价值。

研究动机

RLVR 在数学竞赛题上常陷入奖励稀疏——对难题生成 $G$ 个 rollout 全部错误，组内优势为零，GRPO 因此学不到任何梯度。本文量化指出，在 OpenMath-Nemotron-1.5B 上训练集中 41.21% 的查询在 8 次采样中零正确、仅 1.35% 全对，平均准确率仅 22.40%。为打破稀疏，近期 hint-based RL 在 prompt 中注入更多引导：固定比例前缀（QuestA 抽 $p\%$ 解法）、自适应前缀（StepHint 随难度调节）、抽象模板（TAPO、Guide、Scaf-GRPO 由教师模型生成）。但作者发现三类方法共享一个隐患：(a) 关键片段效应——准确率随 hint 比例呈阶跃跳变，关键短段出现即触发跃升，之后增益递减；(b) 跨提示不一致——更长的前缀或抽象会引入分支与歧义，扩展搜索空间；(c) 引导-效率矛盾——抽象方法依赖教师模型或多阶段策划，增加训练中断与算力开销，引入冗余。

本文的目标是本文目标是把"提示设计"重新定义为"最小充分引导问题"：用原子化的知识单元替代长前缀或抽象模板，只在难题上注入最少必要的 KP 子集，使 1.5B 模型在八项数学基准上同时打破奖励稀疏与冗余引导。具体而言，作者希望 (1) 建立 KP 抽取-校验-选择的可复用离线流水线；(2) 提出能显式处理 KP 互动的选择策略 CSS；(3) 用难度感知的提示注入训练得到 KnowRL-Nemotron-1.5B，实现不依赖推理时 KP 也能显著领先基线。

与已有工作不同的是，已有 hint-based 方法普遍将引导视为"量"的扩展——加更多前缀、堆更厚模板。KnowRL 的独特切入是把引导视为"质"的精选：把解法拆成不可再分的知识点（KPs），离线估计每个 KP 的边际效用，并用约束子集搜索（CSS）显式应对"剪枝互动悖论"——即单独移除某个 KP 有帮助，但同时移除多个可能反而掉点。换言之，本文区别于 QuestA/StepHint/TAPO 的本质是"先剪枝再全局搜索"而非"按单 KP 启发式删"，并把选择过程与 RL 训练解耦，使其可在 1.5B 规模上稳定生效。

核心方法

KnowRL 的整体思路是"先离线精选 KP，再在线难度感知注入"。对每道训练题，先用 DeepSeek-R1 采样得到正确解，再让 DeepSeek-R1 抽取原子化知识点（KP），并做泄漏校验去除与题面绑定过紧的内容；接着离线枚举 KP 子集，估计 OpenMath-Nemotron-1.5B 在 8×32 采样下的准确率，挑选每个题的最优 KP 配置；最后在 RL 训练时，把 KP 拼到 prompt 的 ## Hint 段，并按"是否必要"动态注入——简单题不补 KP，难题补最少的 KP。技术上以 GRPO 为底，配合熵退火（先增后减）、动态采样、token-mean 损失、无 KL 损失。

核心创新在于把 hint 从"前缀长度"转译为"KP 结构"，并提出 CSS 算法应对剪枝互动悖论。CSS 不再像 S-LOO/T-LOO 那样只看单 KP 边际贡献，而是先收集"删后不掉点"的 KP 集合 $H$，再从中划出"删后明显提升"的近优子集 $N$，最终只在剩余的 $C=H\setminus N$（平均 $|C|$ 较小）上做 $2^{|C|}$ 全局枚举，搜索联合最优 KP 子集 $S^*=\arg\max_S A(S)$。这样既避免了全 $2^n$ 枚举的指数爆炸，又显式利用了"多个 KP 之间存在隐式消歧依赖"这一关键观察。配套的 CBRS 则在多次独立评估中取 $\delta=1/32$ 的共识配置，作为更鲁棒的对比基线。

方法步骤详情

KnowRL 训练分四步：(1) 正确解生成——对 QuestA 去重 8.8k 题用 DeepSeek-R1（top_p=0.9、T=0.9）采样至至少一条正确解；(2) KP 抽取——以正确解为上下文让 DeepSeek-R1 抽取不可或缺数学原理得候选集 K，并泄漏复核剔除与题面强耦合的 KP；(3) KP 子集选择——离线评估 $A_\varnothing$、$A_K$、$A_{-i}$，按 CSS 定义 $H$、$N$ 集合，枚举 $C=H\setminus N$ 子集并结合 $\varnothing$、$K$ 选 $S^*$，平均 2.57 KP/题；(4) RL——GRPO 上 batch=256、学习率 $10^{-6}$、clip∈[0.8,1.28] 训 2960 步，必要题拼 KP、max_response_length=24k，配熵退火在 H100×8 上跑约 13 天。

技术新颖性

技术上三层新颖：(a) 把 hint 设计抽象为最小充分引导的组合优化问题，并显式给出临界片段效应与跨提示不一致两类经验观察作为动机；(b) 提出 CSS——先在 $H$ 上剪枝再在 $C$ 上做 $2^{|C|}$ 枚举，把"剪枝互动悖论"从经验现象变成可计算约束，使平均 2.57 个 KP 即在 8 个基准上取得 63.90 平均准确率，优于 Max-Score（2.61 KP/62.73）、S-LOO（1.72 KP/62.65）、T-LOO（1.20 KP/62.50）、CBRS（2.60 KP/62.94）；(c) 设计难度感知 prompt 注入，使同一模型在推理时不带 KP 即达到 70.08 平均、超越 JustRL 1.5B +1.5 点，带 KP 进一步到 74.16，证明 KP 真正被"内化"而非仅靠测试时支架。

**Figure 2**: Interaction-aware KP selection: inconsistency-induced degradation and the δ–compactness trade-off.

实验结果

KnowRL-Nemotron-1.5B 在八项数学基准取得 1.5B SOTA：无 KP 推理时 70.08 平均，较 Nemotron-1.5B 60.45 提升 +9.63，相对 JustRL 1.5B（68.58）提升 +1.50；带 KP 后达 74.16（CSS）/73.46（CBRS）。最大单点增益在 HMMT25（+12.98）、CMIMC25（+15.49）、AIME25（+15.11）。表 1 显示 CSS 用 2.57 KP/题把离线平均准确率从 60.46 抬到 63.90，超过 CBRS（62.94）、Max-Score（62.73）等基线；表 2 QuestA 上 CSS 把 22.40 抬到 33.51（+11.11）。表 4 等预算下 CSS step400 65.00 vs CBRS 64.68、step900 66.46 vs 65.72，剪枝率更平滑。图 4 训练集正确数分布：KnowRL 把零正确从 41.21% 压到 13.00%、全对从 1.35% 拉到 34.28%，平均训练准确率从 22.40% 跃升到 64.30%。

**Table 1**: Offline KP selection strategies on Nemotron-1.5B.

**Table 2**: Offline evaluation on the QuestA dataset with different KP selection strategies.

**Table 3**: Evaluation results of RL training with CSS-selected KP data under different test-time prompting strategies.

**Table 4**: Comparison between CBRS- and CSS-selected training data under matched training budgets.

**Figure 3**: Difficulty-bucket analysis on both test and training sets.

**Figure 4**: Distribution of per-query correct counts on the training set.

**Figure 5**: Comparison of KP selection strategies under the same training budget.

查看结构化数据

任务	指标	本文	基线	提升
AIME24	mean@32 准确率	74.58 (CSS)	60.45 (Nemotron-1.5B 无 KP)	+14.13
AIME25	mean@32 准确率	65.21 (CSS)	48.33 (Nemotron-1.5B 无 KP)	+16.88
BRUMO25	mean@32 准确率	78.12 (CSS)	60.73 (Nemotron-1.5B 无 KP)	+17.39
HMMT-Feb25	mean@32 准确率	48.75 (CSS)	30.63 (Nemotron-1.5B 无 KP)	+18.12
AMC23	mean@32 准确率	95.70 (w/o KP)	90.70 (Nemotron-1.5B 无 KP)	+5.00
CMIMC25	mean@32 准确率	52.19 (CSS)	30.08 (Nemotron-1.5B 无 KP)	+22.11
MATH-500	mean@8 准确率	96.20 (CSS)	92.35 (Nemotron-1.5B 无 KP)	+3.85
Olympiad-Bench	mean@8 准确率	82.44 (CSS)	71.70 (Nemotron-1.5B 无 KP)	+10.74

局限与改进

作者明确指出两点限制：(1) KP 抽取强依赖 DeepSeek-R1 作教师，KP 质量受教师模型与提示工程影响，且对教师生成的内容仍需人工复核泄漏，扩展到非数学领域时流程可能重写；(2) CSS 在 $|C|$ 较大时仍会指数膨胀，文中 $|C|$ 平均较小才可行，对候选 KP 极多或互动极复杂的题不保证可扩展。我们自己的额外观察：(a) 评测仅覆盖数学竞赛分布，未在代码、表格或多模态推理上验证"最小充分"是否仍成立；(b) 13 天 H100×8 训练对社区复现门槛偏高，CSS 离线枚举又叠加 8×32 采样，论文未给出每题的端到端 KP 构建时间；(c) "无 KP 时仍领先"虽强，但 70.08→74.16 的 4 点增益仍依赖推理时拼 KP，并未做到完全脱离支架运行。

独立分析的弱点

独立分析四点弱点及改进方向：(1) KP 抽取的黑箱性——每题靠 DeepSeek-R1 自由生成"不可或缺的数学原理"，缺乏标准化本体（如同名定理的多种表述、跨题共现），可考虑换成形式化知识图谱或经概念本体对齐的 KP 集，以减少教师偏见；(2) CSS 仅在 1.5B 规模验证，未在 7B/32B 等更大模型上检验"剪枝互动悖论"是否仍显著，建议扩展模型族并报告 $|C|$、$p_m$、$\Delta_m$ 的规模敏感性；(3) 离线选择与在线 RL 解耦虽稳定，但 KP 配置一旦固定就不再随训练步数更新，可能在策略漂移后变成次优解，可加入周期性重选或课程式退 KP；(4) 难度感知注入靠人工规则拼到 ## Hint，未对所有 prompt 模板做鲁棒性测试，跨语言或跨题目模板变化时 KP 收益可能被掩盖。

未来方向

作者在结论中明确要把 KP 策划扩展到更广推理域（代码、科学问答、多模态）。基于本文成果可延伸：(a) 探索"自 KP"——用 Self-Hinting 类思路让模型自己生成 KP，再复用 CSS 评估，构成自反馈闭环；(b) 把 CSS 的 $2^{|C|}$ 枚举替换为可微或贪心近似（如 Gumbel-top-k、强化 KP 控制器），以便扩展到 7B+ 模型；(c) 在更长链条任务（多步代码、Agent 规划）上检验"最小充分"是否仍由 KP 主导，或需要进一步引入"技能片段"；(d) 把 KP 选择与 reward shaping 耦合，让稀疏奖励里包含 KP 使用率信号，引导模型"用 KP 而非绕开"；(e) 研究 KP 与 chain-of-thought 蒸馏的协同，让 KP 同时担任 SFT 教师与 RL 提示。

复现评估

代码、模型与策划数据全部在 https://github.com/Hasuer/KnowRL 开源，论文附附录 C.1 列出 KP 抽取/校验/泄漏检查的全部 prompt、附录 C.2 给出 prompt 注入样例。数据基于公开 QuestA 8.8k 去重后训练集、OpenMath-Nemotron-1.5B 基座；评估用 mathverify==0.8.0 + CompassVerifier-3B 双校验协议、MATH-500/OlyBench 用 mean@8、其他用 mean@32、max 长度 32k。算力门槛较高：单次 KnowRL-Nemotron-1.5B 训练需 8 节点 H100×8 约 13 天；离线 KP 选择又叠加每题 8×32=256 次采样用于 CSS 决策。复现难度中等——算法、数据、超参与 prompt 都已公开，但算力门槛对个人研究者偏高，建议先用 CBRS 替代 CSS 做缩预算 sanity check。

KnowRL：通过最小充分知识引导的强化学习提升大语言模型推理能力 KnowRL: Boosting LLM Reasoning via Reinforcement Learning with Minimal-Sufficient Knowledge Guidance