超越推理：强化学习解锁大语言模型中的参数化知识 Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs
RL通过概率重分配让LLM事实回忆准确率平均提升27%。
前置知识
RLVR (带可验证奖励的强化学习)
RLVR 是当前大模型对齐与推理增强的主流范式，其奖励信号由可机械验证的结果（数学题答案、单元测试通过率等）给出，避免了奖励模型的不可靠性。代表方法包括 GRPO 与 PPO。本文即采用 RLVR 思路，但把奖励换成"答案是否语义正确"的二元信号。
本文核心方法就是 RLVR 的一种推广，必须先理解 RLVR 才能看懂为什么 GRPO 配二元奖励就能在事实 QA 上取得稳定收益。
GRPO (Group Relative Policy Optimization)
GRPO 在每条 prompt 上采样一组 rollouts，用组内奖励的相对大小估计 advantage，省去了单独训练 value network。对于一个 prompt 的 $G$ 个回答 $\{a_1,\dots,a_G\}$，其优势函数为 $A_i = \frac{r_i - \text{mean}(\{r_j\})}{\text{std}(\{r_j\})}$，训练目标再对组内相对概率做 PPO 风格的裁剪更新。
本文默认算法就是 GRPO，后面 Table 2 还把 GRPO 换成 PPO 做对比，说明作者认为组内对比是 RL 收益的关键机制之一。
参数化知识 (Parametric Knowledge)
指 LLM 在预训练阶段从大规模文本中习得、并存储在模型权重里的事实性知识，与通过 RAG 引入的外部知识相对。研究表明 LLM 经常"知而不言"——参数中存在的事实无法在解码时被稳定输出，体现出 knowledge-expression gap。
全文的论断"RL 重新分配概率质量"正是围绕参数化知识展开的，区分参数内知识与表达出来的知识是理解本文实验设计的前提。
pass@k 与可及性 (Accessibility)
pass@k 指对每条 query 独立采样 $k$ 个回答，只要其中任意一个正确即视为命中，刻画模型在该采样预算下的最大能力。本文的"可及性"特指基模型在 128 次随机采样中给出正确答案的次数，用作事实被压抑程度的代理指标。
Figure 4 与 Figure 5 都基于这两个量：repair rate 衡量贪心解码提升，pass@k 衡量采样层面的整体可达性，是论文机制分析的两大支柱。
LLM-as-a-Judge
用一个大模型判断另一模型输出是否正确。本文选用 Qwen2.5-72B-Instruct 作为统一裁判，理由是它与人类标注的一致率达 92%，且 RL 训练后一致性从 89% 提升到 95%，错误接受率为 0。
事实型 QA 的答案表达形式多样（数字、年份、人物），精确匹配会导致奖励过于稀疏；理解 LLM-as-a-Judge 的设计动机才能看懂 Table 4 中 EM 奖励崩溃的原因。
研究动机
现有强化学习在 LLM 上的成功几乎都集中在"推理"维度，比如数学题 DeepSeek-R1、代码生成等任务都用 RLVR 把多步推理能力推到了新高度。然而 LLM 还承担大量事实型任务——用户经常问的是"X 是谁"、"Y 发生在哪一年"这种单跳、闭卷的事实问题。即便模型参数中已经编码了正确事实，贪心解码仍可能输出错误答案，业界用"LLMs know more than they express"形容这种知而不言现象。Table 1 的基线数据显示，Qwen2.5-7B 在 TriviaQA 上正确率仅 49.39%，OLMo-2-7B 在 SimpleQA 上只有 3.56%，说明事实回忆本身就是 LLM 的明显短板。监督微调 (SFT)、DPO、Rejection-sampling FT 等现有训练方法在事实回忆上提升有限；测试时的多数投票与 CoT 提示虽然有时能帮上忙，但收益极不稳定。作者因此提出尖锐的问题：除了改进推理之外，RL 能不能也改善对参数化知识的直接回忆？
本文的目标是本文目标是把 RL 的成功从"推理轨迹优化器"扩展为"参数化知识访问优化器"，量化 RL 在零样本、单跳、闭卷、非 CoT 的事实 QA 设置中究竟能带来多少增益，并通过受控实验回答三个问题：(1) RL 的收益来源——是注入了新事实还是重分配了概率质量？(2) 哪类训练样本提供了最强的学习信号？(3) 这些发现是否在不同模型族、规模、算法、跨数据集迁移上仍然成立。最终作者希望把 RLVR 从"推理增强器"重新定位为"潜在参数化知识的解锁器"，并给出可操作的数据筛选准则。
与已有工作不同的是，先前 RL 与事实回忆的研究大多仍夹杂 CoT 推理或长篇生成，把推理与回忆混在一起，无法回答"纯回忆是否也能被 RL 改善"。此外，先前工作普遍不做严格的 fact-level 去重，因此无法排除"模型只是背下了训练集"这种伪增益。本文的独特切入角度是：构造一个完全无 CoT、reward 仅来自最终答案的二元正确性信号、用语义级去重把训练和测试事实严格分开的受控环境，并配合 128 次随机采样度量可及性，从而第一次系统刻画了 RL 在纯事实回忆中的真实作用机制。
核心方法
方法核心思路是"用最简单的二元奖励 + 最严格的训练/测试分离"来隔离 RL 对纯事实回忆的因果效应。直觉上，如果去掉所有推理、检索、知识注入，RL 还能提升事实 QA 准确率，那就只能归因于模型内部对已有知识的表达方式被改变了。技术路线是：选用 GRPO 作为默认算法，奖励 $r \in \{0,1\}$ 由 Qwen2.5-72B-Instruct 作为 LLM-judge 给出；用语义级去重流水线把训练集与测试集的事实严格切分，确保测试 query 不在训练事实集合中；评估时同时记录贪心解码准确率与 pass@k 曲线，并对训练样本按"128 次采样中正确答案出现次数"分层做数据归因实验，从训练侧反推哪类样本贡献最大。
与已有方法相比，本文的本质区别在于把"RL 提升事实回忆"这一命题拆成三个可验证子问题：机制问题（是否仅靠概率重分配）、训练信号问题（最难样本是否贡献最大）、鲁棒性问题（跨模型族/规模/算法/数据集是否稳定）。在机制层面，作者提出 pre-RL accessibility 这一新指标——基模型在 128 次随机采样中能命中正确答案的次数——并用它把问题分解成"概率重分配"与"新知识注入"两种假设，通过图 4 的分层修复率与图 5 的 pass@k 曲线把假设证伪给"概率重分配"，因为在 $k=256$ 预算下 pre-RL 与 post-RL 几乎重合，而 $k=1$ 时差距最大。在训练信号层面，提出 inaccessible@128 子集假设（正确答案 0/128 次出现），用匹配数据量的子集训练证明这 18% 的样本贡献了 83% 的全量增益，反直觉地推翻了"中等可及样本最重要"的常见假设。
方法步骤详情
完整方法流程包括五步。第一步是问题形式化：在 prompt 模板中显式要求模型"直接给出简短答案，不要包含推理步骤"，记答案为 $a \sim \pi_\theta(\cdot|q)$，奖励为 $E(a,a^*) \in \{0,1\}$。第二步是 RL 训练：对每条 prompt 采样一组回答，用组内相对优势更新策略；为避免答案表达形式多样造成奖励稀疏，使用 Qwen2.5-72B-Instruct 做 LLM-judge 而非精确匹配，所有模型/数据集共用同一组超参。第三步是 fact-level 去重：用稠密嵌入召回候选重叠样本，再以 LLM-judge 二次确认，剔除任何训练 query 与测试 query 共享同一事实的样本，确保 observed gain 一定来自回忆改善而非记忆注入。第四步是分析评估：贪心解码得到主结果，pass@k 采样到 $k=256$ 给出分布级证据，并按 pre-RL accessibility 把测试 query 切成 9 个对数分桶计算修复率。第五步是数据归因：把训练集按 accessibility 切成 Highly Accessible (HA, $c \geq 65$)、Partially Accessible (PA, $3 \leq c \leq 64$)、Inaccessible@128 (IA, $c=0$) 三层，控制数据量后单独或两两组合训练，恢复率为 $\frac{\text{Acc}_{\text{subset}} - \text{Acc}_{\text{base}}}{\text{Acc}_{\text{full}} - \text{Acc}_{\text{base}}}$，从而定位哪类样本贡献最大。
技术新颖性
技术新颖性体现在三点。其一，提出 pre-RL accessibility 作为事实被压抑程度的代理指标，并把训练/测试样本都按这个量分层，使"RL 在做什么"这一长期模糊的问题第一次有了可量化的实验抓手。其二，给出严密的 fact-level 去重协议，结合嵌入召回 + LLM 判别，避开了"训练集泄露"的常见陷阱，让所有 held-out 增益可以安全归因于回忆改善。其三，把数据归因 (data attribution) 引入 RL 分析：用匹配数据量的子集训练，对比恢复率，从而识别出 inaccessible@128 才是最强单一信号源，这一结论挑战了 RL 训练中"数据越难越学不到"的常见直觉，对后续 RL 数据筛选有直接指导意义。
实验结果
核心实验在 Table 1 中给出：RL 在 TriviaQA / NQ / PopQA 三个数据集、Qwen2.5-7B / Llama-3.1-8B / OLMo-2-7B 三族模型上全面领先基线，平均相对提升约 27%。NQ 上的提升最显著——Llama 从 30.15 提升到 46.39（+16.24 绝对值，相对 +53.9%），OLMo 从 22.79 提升到 36.91（+14.12），Qwen 从 21.42 提升到 34.12（+12.7），三个模型无一例外。表 2 进一步把 GRPO 换成 PPO，性能几乎一致（Llama 46.39 vs 46.42、OLMo 36.91 vs 37.12、Qwen 34.12 vs 32.48），说明提升来自 RL 范式本身而非具体算法。表 3 把结论扩展到大模型与 MoE：Qwen2.5-14B 从 25.24 升到 41.88，Qwen2.5-32B 从 27.94 升到 42.06，Qwen2.5-72B 从 34.64 升到 49.61，Qwen3-30B-A3B 从 31.42 升到 43.58，跨架构跨规模都稳定。Figure 1 的训练动态显示 SFT 严重过拟合训练集而测试集几乎不动，DPO 双线平直，RFT 仅有微弱提升，唯有 RL 给出持续放大的测试曲线。Figure 2 表明多数投票 (32 次) 仅带来边际提升，CoT 提示提升不稳定且远低于 RL。Figure 3 显示 RL 收益能跨数据集迁移，例如在 TriviaQA 上训练后在 NQ 上仍能涨约 8.75% (Qwen)。Figure 4 把测试 query 按 accessibility 分桶后发现修复率随可及性单调上升，9-16/128 桶的修复率约 52%，$\geq 65$ 桶超过 80%，最惊人的是 0/128 桶仍有 6-13% 的修复率。Figure 5 的 pass@k 曲线表明 post-RL $k=1,2$ 的水平大致等效 pre-RL $k=16,32$ 的水平，但 $k=256$ 时两者几乎重合，证实 RL 是把正确答案从低概率尾拉到顶端。Figure 6 的数据归因是反直觉的发现：inaccessible@128 子集只占训练数据约 18%，却能恢复约 83% 的全量 RL 增益，是 PA 子集 (70%) 和 HA 子集 (31%) 都比不上的最强单信号源。Figure 7 显示 IA 训练样本的平均奖励从近 0 稳步上升，说明这些"看不到"的事实其实在重复 rollout 中偶尔能被采样到，进而被强化。Table 4 验证了 LLM-judge 的必要性：换成严格精确匹配后奖励立即变得稀疏，三模型 NQ 准确率只剩 32.12 / 24.15 / 25.12，RL 收益几乎消失。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Natural Questions (NQ) - Llama-3.1-8B | 贪心解码准确率 (%) | 46.39 | 30.15 (Base) / 36.70 (RFT) / 30.48 (DPO) / 29.45 (SFT) | +16.24 绝对值，相对基线 +53.9% |
| Natural Questions (NQ) - Qwen2.5-7B | 贪心解码准确率 (%) | 34.12 | 21.42 (Base) / 27.03 (RFT) / 22.94 (DPO) / 23.67 (SFT) | +12.70 绝对值，相对基线 +59.3% |
| Natural Questions (NQ) - OLMo-2-7B | 贪心解码准确率 (%) | 36.91 | 22.79 (Base) / 25.33 (RFT) / 23.06 (DPO) / 25.39 (SFT) | +14.12 绝对值，相对基线 +61.9% |
| TriviaQA - Qwen2.5-7B | 贪心解码准确率 (%) | 59.94 | 49.39 (Base) / 53.65 (RFT) / 52.43 (DPO) / 51.79 (SFT) | +10.55 绝对值，相对基线 +21.4% |
| PopQA - Llama-3.1-8B | 贪心解码准确率 (%) | 31.44 | 23.52 (Base) / 27.75 (RFT) / 24.49 (DPO) / 29.52 (SFT) | +7.92 绝对值，相对基线 +33.7% |
| Natural Questions - Qwen2.5-72B (大模型扩展) | 贪心解码准确率 (%) | 49.61 | 34.64 (Pre-RL Qwen2.5-72B) | +14.97 绝对值，相对基线 +43.2%，证明可扩展到 72B |
| Natural Questions - Qwen3-30B-A3B (MoE 架构) | 贪心解码准确率 (%) | 43.58 | 31.42 (Pre-RL Qwen3-30B-A3B) | +12.16 绝对值，相对基线 +38.7%，证明在 MoE 上同样有效 |
局限与改进
作者明确承认两条局限：其一，SimpleQA 这种极难数据集上所有方法都几乎完全失败（Qwen2.5-7B 从 4.15 到 3.88，OLMo 从 3.56 到 4.33，变化在噪声范围内），原因是基模型命中率本身极低，奖励信号过于稀疏，RL 难以学到任何改善；其二，奖励必须依赖强 LLM-judge（本文用 Qwen2.5-72B），如果改用严格精确匹配则 Table 4 显示三模型 NQ 准确率分别只到 32.12/24.15/25.12，几乎打回原形，原因是事实型答案的等价表达形式太多。我的额外观察是：(1) 整篇论文限定在单跳事实 QA 范围，对需要多步推理的事实任务没有覆盖；(2) 训练信号依赖 LLM-judge，理论上有 reward hacking 风险——虽然作者给出了 200 样本上 FPR=0 的证据，但更大规模下仍待验证；(3) 128 次采样的可及性度量其实并不便宜，每次训练评估都需要近十万次前向，这本身也是工程瓶颈。
独立分析的弱点
独立分析可改进之处有三。第一，依赖 LLM-judge 引入了 72B 模型作为外部依赖，论文没有给出 judge 模型的 API 成本与延迟估算，但若复现到 7B 模型上 judge 自己就是单卡都跑不动的规模，部署成本被低估；改进方向是引入更轻量的专用 NLI/QA 验证模型，或者把 EM 与 LLM-judge 混合使用（覆盖性 vs 严格性）。第二，128 次采样的可及性度量成本极高——按训练集一万条计算，仅一次可及性评估就需要约 128 万次前向，这使得论文的数据归因实验很难直接复现到大模型训练；改进方向是用更小采样数（比如 16 或 32 次）配合学习曲线做粗筛，但需要论证阈值选择与最终结论的稳定性。第三，论文在跨语言、多模态、领域外事实（如医学、法律专有名词）场景下没有验证，Figure 3 的跨数据集迁移仅限于同语言同类型事实；改进方向是补充多语言事实 QA、专业领域 QA 与多模态知识任务，并测试在分布更窄的 OOD 场景下 RL 收益是否依然存在。
未来方向
作者在 Discussion 中已指出两个延伸方向：一是事实 RL 的成功边界——只要数据集有非平凡的初始准确率，RL 都能改善；但若初始命中率太低（如 SimpleQA）则奖励稀疏，RL 也无能为力，这给"何时不要用 RL"提供了实用准则。二是数据筛选建议——应该优先选择 inaccessible@128 类的低可及性样本而非中等难度样本，这与"课程学习要从易到难"的常见教育学直觉相反，值得在更大规模训练上继续验证。基于成果还可延伸的方向包括：(1) 把 RL 的"概率重分配"机制与表征级诊断 (CCS, probing classifier) 结合，看是否能在隐藏层找到对应的 logit 变化；(2) 与知识编辑 (ROME, MEMIT) 对比，看 RL 改善的访问性能否被精确地定位到具体的 MLP 权重；(3) 探索多轮 RL——在数据归因结论之上做 self-bootstrapping，主动从 inaccessible@128 子集挖出更多被压抑事实；(4) 与 RAG 互补——既然 RL 改善的是"已有但压抑"的知识，那么与外部检索结合可以同时解决"真的不知道"与"知道但说不出"两类失败。
复现评估
复现评估整体偏难。论文在 2026 年 5 月提交，附录中虽然给出了完整超参与 prompt 模板，但截至文本中未提及代码或模型权重是否开源（基于上下文需要核查官方仓库）。数据侧：训练数据来自 NQ、TriviaQA、PopQA、SimpleQA 的公共拆分并做了 fact-level 去重，附录 C 提供了去重管线，但需要复现者自行跑嵌入召回 + LLM 判别；NQ 与 TriviaQA 训练集被下采样到 10000。算力侧：每次 RL 训练需要在 7B-8B 模型上做 GRPO，配 Qwen2.5-72B 作为 judge，至少 8 卡 A100 级别才能跑得动，全量消融跑完估计需要数百到上千 GPU 小时。复现难度：高，主要瓶颈是 LLM-judge 成本与 RL 训练本身的算力开销，加上 128 次采样的可及性度量需要额外的预算。理论结果完全可复现（去重管线、GRPO 实现、奖励设计都已详细说明），但要重复全部主表与消融可能需要机构级算力支持。
论文图表
