面向检索增强大语言模型搜索状态感知的自评估强化学习 Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models
用训练时自评与双重奖励让搜索智能体内化搜索状态感知，推理时零额外开销
前置知识
检索增强生成（RAG）与搜索智能体
RAG 在推理时把外部检索到的文档拼进模型上下文，用外部知识弥补参数知识的过时与幻觉问题。搜索智能体在此之上让模型自主决定何时检索、检索什么、何时停止，形成 think-search-answer 的多轮循环：模型发出 查询，检索引擎返回 top-k 文档追加到上下文，如此迭代直到模型给出最终答案。
本文核心概念『搜索状态感知』就定义在这个多轮搜索循环里：智能体能否知道已经拿到什么信息、还缺什么。理解该循环是读懂一切的前提。
GRPO（Group Relative Policy Optimization，组相对策略优化）
一种在线强化学习算法：对每个问题从当前策略采样一组轨迹（本文为 5 条），用组内得分相对比较计算优势函数，无需训练独立的价值网络。本文还做了工程化改造：屏蔽超过原始上下文长度轨迹的梯度、采用非对称裁剪、去掉优势标准差归一化与 KL 正则。
SARL 的双重奖励最终都要通过 GRPO 的组相对优势转化为策略更新，不懂 GRPO 就无法理解奖励信号如何影响训练。
奖励塑形与信用分配
结果奖励只在轨迹终点给一个对/错信号，在几十轮的搜索轨迹中很难判断哪一步该被奖励（信用分配困难）。奖励塑形通过引入中间信号提供更细粒度的反馈，但设计不当时模型会钻空子（reward hacking），比如故意先答错再纠错以骗取纠正奖励。
SARL 的转移奖励正是针对这些问题设计的：四个转移分支的非对称数值就是为了封死 reward hacking 通道，理解风险才能读懂数值含义。
LLM-as-a-judge 评测协议
用强模型（本文用 GPT-4.1）判断生成答案与标准答案是否语义等价，比精确匹配（EM）更能容纳同一答案的多种正确表述。论文所有主表数字为 avg@4，即每个问题采样 4 次取平均，以降低采样随机性带来的波动。
论文全部对比数字基于该协议，而且自评估奖励中判断答案对错的底层机制也正是这种语义等价判定。
研究动机
基于 RL 的搜索智能体普遍缺乏『搜索状态感知』，即在多轮检索中识别已获得什么、还缺什么的能力，由此产生两类失败：证据不全时幻觉推理，以及证据不足时过早终止搜索。论文的引例非常具体：问『宾夕法尼亚州最古老的天主教大学的篮球教练是谁』，Search-R1 直接把宾夕法尼亚大学当成天主教机构，回答 Steve Donahue，两处皆错；AutoRefine 即使带有专门的 反思标签，也没意识到搜到的 Saint Francis University 不满足『最古老』约束，照样答错。现有补救手段——稀疏的结果奖励或 / 等辅助 token——信号过于粗糙，无法保证推理过程的忠实性。作者还首次报道了一个此前未见过的失效模式：当把最大搜索轮数扩到 32 并在训练中加入更长的合成轨迹后，AutoRefine 与 ReSeek 出现严重训练不稳定，AutoRefine 的平均搜索轮数塌缩到不足 1 轮，ReSeek 的验证分数在训练后期跌向零——根源在于二者把反思文本内联在每一轮搜索中，长视野下上下文持续膨胀导致崩溃。
本文的目标是本文目标是让模型把搜索状态感知内化为策略本身的推理能力：训练期通过自评估修正搜索行为，推理期不需要任何额外的评估步骤或脚手架。量化目标非常明确：在统一的 45K 训练集、最多 32 轮交互、单 epoch、固定检索引擎的公平条件下，在覆盖 3 个单跳 QA、4 个多跳 QA、3 个深度研究的 10 个基准上全面超越 Search-R1、ASearcher、AutoRefine、ReSeek 等搜索智能体基线——最终实现相对最强基线平均提升 24.3%，其中多跳推理平均提升 35.9%、深度研究平均提升 27.9%；同时在长搜索视野下保持训练稳定，使性能随任务复杂度增长而持续获益，而不是像现有方法那样在 32 轮视野下训练崩溃。
与已有工作不同的是，作者的独特切入点建立在一个被忽视的前提之上：模型其实有能力纠自己的错——只要给它一个干净的新上下文复盘原轨迹（论文在 Appendix A.3 中验证了这一点）。据此 SARL 把自评估从搜索循环中『解耦』出来：它不是每轮搜索后内联的反思段落，而是训练期专用的独立评估通道，在隔离上下文中以结构化格式审视完整轨迹。奖励设计同样独树一帜：不按反思 token 是否出现这类粗信号给分，而是按『自评前后答案正确性的转移』这一可验证的细粒度信号赋值，再用指数衰减惩罚约束自评使用频率。相比依赖 SFT 预热的 RAG-R1、依赖四智能体编排的 MA-RAG，SARL 证明纯 RL 单策略就能内化这种能力，无需辅助监督、无需推理时多智能体、无需额外评估器，直接挑战了『反思必须内联或必须外挂』的通行做法。
核心方法
直觉上，SARL 像是让模型写完初稿后请『另一个自己』审稿：审稿人在一个不受原上下文干扰的隔离环境里通读全文，指出哪些关键约束已被证据解决、哪些还没有，并判定 COMPLETE 或 INCOMPLETE；若判定未完成，审稿意见会被原样发回给作者，要求继续检索和修改。妙处在于，训练结束后这种自查能力被内化进策略，推理时审稿人直接下班——零额外开销。技术路线上，SARL 在标准 think-search-answer 循环后追加自评估阶段，形成『生成—自评—按需修订』的训练期流程，并用 GRPO 优化：总奖励为 $R_{total} = r_{final} \cdot \alpha^{n-1} + \lambda \cdot r_{assess}$，其中 $r_{final}$ 是最终答案对错，$\alpha=0.8$ 的指数项随自评次数 $n$ 衰减以抑制频繁自评，$\lambda=0.5$ 加权由答案正确性转移决定的 $r_{assess}$。训练在 SkyRL 框架上以 Qwen2.5-7B 进行，8 张 B200 GPU 单 epoch，每题采 5 条轨迹。
核心创新是『解耦的自评估 + 双重奖励』这一组合。与 AutoRefine/ReSeek 把反思维护段内联在每个搜索轮次不同，SARL 的自评估是一次独立的评估性遍历：原轨迹 $\mathcal{T}$ 保持为自洽的搜索行为记录，评估被当作单独的 pass，因而长视野下上下文不会因反思文本反复膨胀，从结构上规避了先前方法在 32 轮视野下的训练崩溃。双重奖励的精妙在于两个互补信号：指数惩罚项 $\alpha^{n-1}$（$\alpha=0.8$）让每次额外的自评都打折，迫使模型『先把搜索做足』；转移奖励 $r_{assess}$ 按自评前后答案正确性赋值——错→对 +1.0、对→对 +1.0、错→错 -0.1、对→错 -2.0。非对称设计有三层用意：强烈奖励真正的纠错；重罚把答案改错的退化；故意让『对→对』与『错→对』同分，堵死『故意先答错骗纠错奖励』的 hacking 通道，同时『对→对』往往意味着答案碰巧对但证据链不全，给它正分是在鼓励追求证据充分的搜索轨迹。
方法步骤详情
第一步，轨迹生成：给定问题 q，策略 $\pi_\theta$ 在 think-search-answer 循环中生成轨迹，每步为 // 操作； 查询交给检索引擎（e5-base-v2 编码 2018 年 12 月 Wikipedia dump，返回 top-3 文档追加进上下文），轨迹终止于 或 32 轮上限。第二步，自评估：轨迹结束后，用同一策略 $\pi_\theta$ 在隔离上下文中以评估提示生成结构化评估，依次识别问题的本质约束、分析哪些约束已被检索证据解决、最后给出 COMPLETE/INCOMPLETE 二元判断。第三步，分支处理：判 COMPLETE 则轨迹定稿，答案与标准答案比对得 $r_{final}$；判 INCOMPLETE 则把完整评估作为 user 消息注回原上下文，模型继续 / 并给出修订后的 ，循环直到 COMPLETE 或达到 32 轮。第四步，奖励计算：$R_{total} = r_{final}\alpha^{n-1} + \lambda r_{assess}$，$r_{assess}$ 按自评前后答案正确性转移取 +1.0/+1.0/-0.1/-2.0。第五步，GRPO 更新：每题采样 5 条轨迹做组相对优势，屏蔽超长轨迹梯度，非对称裁剪 $\epsilon^-=0.2$、$\epsilon^+=0.28$，去掉标准差归一化与 KL 正则，长度归一化用固定分母 $L_{max}$。训练集 45K 条：NQ、HotpotQA、ASearcher 各 15K（后者含 8,537 条原始 compose chain qa + 6,463 条自合成）。
技术新颖性
与已有技术的本质区别有四点。其一，反思的位置：AutoRefine 与 ReSeek 在每个搜索轮次内联生成 / 类反思文本，上下文随轨迹增长而膨胀；SARL 的自评估在隔离上下文中独立进行，训练期专用、推理期移除。其二，奖励信号来源：过程奖励模型需要额外训练一个评估器，SARL 的奖励直接从『答案正确性转移』这一可验证信号派生，零辅助模型、零监督数据。其三，范式对比：SARL 是单策略纯 RL，却相对 SFT+RL 两阶段的 RAG-R1 在 7 个共享基准上取得 0.554 vs 0.449（相对提升 23.4%），多跳基准上超过四智能体框架 MA-RAG 的 70B 变体（HotpotQA 0.614 vs 0.507、2Wiki 0.645 vs 0.431），说明内化感知优于堆规模或堆编排。其四，作者首次系统报道并解释了长搜索视野下的训练崩溃失效模式，并给出结构性（而非调参性）的解法。
实验结果
主实验（Table 1，10 个基准、GPT-4.1 判分、avg@4）显示 SARL 平均得分 0.429，相对最强基线 ASearcher 的 0.345 提升 24.3%，且提升随任务复杂度放大：单跳 QA 仅 +3.9%（TriviaQA 0.762 vs Search-R1 0.711、PopQA 0.527 vs 0.495、NQ 0.508 略低于 ASearcher 0.515）；多跳 QA 平均 +35.9%（HotpotQA 0.614 vs Search-R1 0.484、2Wiki 0.645 vs 0.440、Musique 0.272 vs 0.172 达峰值 +58.1%、Bamboogle 0.548 vs ReSeek 0.398）；深度研究平均 +27.9%（FRAMES 0.261 vs ASearcher 0.176 达 +48.3%、BC-Plus 0.103 vs 0.097、GAIA 0.053 与 ReSeek 持平）。与外部发表结果对比：相对 SFT+RL 的 RAG-R1 在 7 个共享基准 0.554 vs 0.449（+23.4%），并超过 MA-RAG 的 8B 甚至 70B 变体。Figure 3 提供机制证据：SARL 训练中独立搜索查询数持续升至 6 个以上、文档召回率单调改善，两个基线两项指标则持平或下降。Figure 4 消融：仅自评估中期达峰后崩塌；加指数惩罚恢复稳定；再加转移奖励使独立搜索数相对仅自评估变体翻倍以上。超参敏感性：$\alpha \in \{0.2, 0.5, 0.8\}$ 稳健（最终分 51.7-55.5）；$\lambda=0.2$ 短期冲到 55.5 但末期塌至 42.6，$\lambda \geq 0.5$ 稳定。跨族与规模：Llama-3.1-8B 上 GRPO 从 52.3 塌到 44.4，SARL 从 51.2 升至 54.3（step 300 领先 +9.9）；Qwen2.5-14B 全程优于 7B（差距从 +6.4 收窄至 +3.6）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 10 基准总平均（单跳+多跳+深度研究） | LLM-as-judge 得分（avg@4） | 0.429 | ASearcher 0.345（最强基线） | 相对提升 24.3% |
| 多跳推理（HotpotQA） | LLM-as-judge 得分（avg@4） | 0.614 | Search-R1 0.484 | 相对提升约 26.9% |
| 多跳推理（Musique） | LLM-as-judge 得分（avg@4） | 0.272 | Search-R1 0.172 | 相对提升 58.1%（全基准峰值） |
| 深度研究（FRAMES） | LLM-as-judge 得分（avg@4） | 0.261 | ASearcher 0.176 | 相对提升 48.3% |
| 对比 SFT+RL 流水线（RAG-R1，7 个共享基准） | 平均得分 | 0.554 | RAG-R1 0.449 | 相对提升 23.4% |
| 对比多智能体框架（MA-RAG，HotpotQA） | LLM-as-judge 得分 | 0.614 | MA-RAG 70B 变体 0.507 | 以 7B 单策略超过 70B 多智能体编排 |
局限与改进
作者层面可观察到的局限：单跳 QA 提升很小（+3.9%），NQ 上甚至略输 ASearcher（0.508 vs 0.515），说明自评估对一次检索即可解决的任务收益有限；GAIA 仅 0.053，距离真实世界智能体任务还很远；BC-Plus 提升温和，因为目标证据稀疏且与表层查询弱对齐。我自己的观察：其一，检索语料钉死在 2018 年 12 月的 Wikipedia dump，无法检验真正需要最新信息的场景，时效性主张只能停留在叙事层面；其二，自评估奖励与最终奖励都依赖可验证的标准答案，开放式生成任务（写报告、做综述）无法直接套用；其三，奖励数值（+1.0/+1.0/-0.1/-2.0）与 $\alpha$、$\lambda$ 全部手工设定，$\lambda=0.2$ 就会训练崩塌，提示机制对奖励配比相当敏感；其四，『模型复盘自己轨迹能纠错』这一前提依赖基础模型能力，对更弱的小模型未必成立；其五，评测依赖 GPT-4.1 判分且每题采 4 次，评测成本不低，判分偏差也会影响所有对比数字。
独立分析的弱点
我的独立分析，按严重程度排序。第一，奖励工程脆弱：四个转移数值与 $\lambda$ 全靠手调，消融显示 $\lambda=0.2$ 时模型中期冲到 55.5、末期塌到 42.6，说明『学会自评但缺乏动力利用自评』的漂移风险始终存在；改进方向是用自动超参搜索，或让转移奖励由可学习的小型验证器参数化。第二，训练成本高：每条轨迹至少多一次隔离上下文的完整生成，加上每题 5 条组采样、32 轮上限，8×B200 的预算超出多数学术团队；改进方向是评估缓存、异步 rollout，或先在大模型上训练再蒸馏到小模型。第三，『对→对』也给 +1.0 可能诱导不必要的自评，目前仅靠指数惩罚硬压，在简单任务上会浪费交互轮次；改进方向是对『答案对且证据充分』与『答案对但证据不足』区分打分，或让惩罚系数随任务复杂度自适应。第四，可验证性假设强：没有标准答案的任务无法构造 $r_{assess}$；改进方向是引入 rubric 型 judge 或成对偏好信号替代精确的答案正确性转移。
未来方向
作者在结论中把方向定为：把搜索状态感知从 token 级提示过程转化为内化的推理能力，通向无需外部反馈即能自我纠正的知识感知智能体。基于成果可延伸的方向包括：一是接入真实 Web 检索（如 BrowseComp 类任务），检验解耦自评估在噪声更大、时效性更强的环境下能否维持 32 轮视野的训练稳定性；二是把转移奖励的思路推广到其他长程决策域，例如代码智能体用『单元测试通过率转移』、工具使用智能体用『子目标完成转移』作为可验证信号；三是与上下文/记忆管理方法（论文相关工作引用的规划锚点、记忆机制等）结合，研究自评估与外部记忆的分工边界；四是以 SARL 训好的模型为教师做蒸馏，把自评估能力压进无需 RL 的小模型；五是给评估质量本身建立度量，因为框架假设 INCOMPLETE 判断本身可靠，这一环出错会级联影响修订与奖励。
复现评估
复现要素披露得相当完整：训练数据全部公开可得（NQ、HotpotQA 各抽 15K；ASearcher 原始 8,537 条 compose chain qa，另 6,463 条按其公开的合成流程补齐）；检索栈可复现（e5-base-v2 + 2018-12 Wikipedia dump 返回 top-3，仅 BC-Plus 需要自建 Wikipedia dump 并换用 Qwen3-Embedding-8B）；训练框架 SkyRL 开源；关键超参全部写在正文（$\alpha=0.8$、$\lambda=0.5$、每题 5 条轨迹、32 轮上限、非对称裁剪 0.2/0.28、超长轨迹梯度屏蔽、去 KL 正则、固定长度分母）。门槛主要在算力与基建：8×B200 训练 1 epoch 约 45K 样本的 GRPO 属于大机构配置，评测还需 GPT-4.1 每题判 4 次。正文可见部分未给出代码发布链接。综合评估：拥有 veRL/SkyRL 级 RL 基建的中型团队可在数周内复现核心结果；个人建议先用 1.5B 模型、缩短视野、缩小数据验证管线，再考虑全量复现。
论文图表
用『宾州最古老天主教大学的篮球教练是谁』这一个问题并排对比三种方法的搜索轨迹：Search-R1 幻觉地把宾夕法尼亚大学当成天主教机构并提前终止，答错为 Steve Donahue；AutoRefine 即使有 <refine> 标签也没识别出 Saint Francis University 不满足『最古老』约束；SARL 先搜出 Villanova University，再针对性搜其教练，答对 Jay Wright。
一图看懂『搜索状态感知缺失』的两种失败模式（幻觉推理、过早终止）以及 SARL 的知识感知推理如何逐步识别已获得与缺失的信息并补齐缺口，是全文动机的最佳可视化。