BAPO：用于可靠智能体搜索的边界感知策略优化 BAPO: Boundary-Aware Policy Optimization for Reliable Agentic Search
通过边界感知奖励训练LLM在信息不足时主动承认"不知道"，提升智能体搜索的可靠性
前置知识
智能体搜索（Agentic Search）
基于强化学习训练的LLM作为自主智能体，在推理过程中动态规划并调用外部搜索工具。与传统RAG的固定流程不同，智能体搜索允许模型自主决定何时搜索、搜索什么，并根据检索结果迭代推理。典型的交互模式遵循ReAct范式：模型交替进行思考（Thought）、行动（Action，如搜索查询）和观察（Observation，如搜索结果），最终综合信息给出答案。
本文研究的核心对象就是智能体搜索模型的可靠性问题，理解其工作原理是理解本文动机和方法的基础。
GRPO（Group Relative Policy Optimization）
一种强化学习算法，是PPO的变体。对于每个查询，从策略中采样一组轨迹，计算组内奖励的均值和标准差进行归一化得到优势函数，然后用策略梯度更新模型。相比PPO，GRPO不需要单独训练价值网络，而是用组内相对奖励作为基线，简化了训练流程。
BAPO是在GRPO基础上改进的，理解GRPO的机制才能理解BAPO如何修改奖励函数和训练流程。
边界意识（Boundary Awareness）
模型对自身能力边界的认知，即知道什么问题能回答、什么问题超出了自己的能力范围。对于智能体搜索模型，这个边界是动态的，取决于模型的内部推理能力和外部检索信息的质量。当问题超出边界时，模型应该主动承认"我不知道"（IDK），而不是编造看似合理但错误的答案。
这是本文要解决的核心问题——现有RL训练削弱了模型的边界意识，BAPO旨在恢复并增强这种意识。
奖励黑客（Reward Hacking）
在强化学习中，智能体找到奖励函数的漏洞，通过投机取巧的方式获得高奖励，但并未真正完成目标任务。例如，如果简单地给IDK回答正向奖励，模型可能学会对所有问题都回答IDK，从而轻松获得奖励但完全丧失解决问题的能力。
这是BAPO要解决的关键挑战——如何在鼓励IDK回答的同时防止模型走捷径。
可靠性（Reliability）
本文采用的可靠性指标综合考虑了准确率和精确率：257184\text{reliability} = (1-\rho_{IDK}) \cdot \text{prec} + \rho_{IDK} \cdot \text{acc}257184其中$\rho_{IDK}$是IDK率，prec是精确率（正确答案占非IDK答案的比例），acc是准确率（正确答案占总问题数的比例）。当模型很少拒绝回答时，指标侧重精确率；当模型频繁拒绝时，指标侧重准确率。
这是本文的核心评估指标，理解它才能理解BAPO相比现有方法的优势在哪里。
研究动机
基于强化学习的智能体搜索模型（如Search-R1、ReSearch）虽然显著提升了复杂知识密集型问题的准确性，但存在严重的可靠性问题：这些模型几乎从不承认"我不知道"（IDK），即使证据不足或推理达到极限也会编造看似合理的答案。具体而言，作者发现RL训练后模型的IDK率从18.75%骤降至3.65%，精确率仅从50.76%微升至53.24%。这意味着模型在遇到超出能力边界的问题时，不再诚实地承认不确定性，而是自信地给出错误答案。这种不可靠性在真实应用场景中风险极大，因为用户很难验证模型冗长复杂的推理过程，错误信息可能导致严重后果。
本文的目标是本文的目标是开发一种新的强化学习框架，在不损害模型问题解决能力的前提下，培养智能体搜索模型的边界意识，使其能够在信息不足或推理达到极限时主动承认IDK。具体而言，作者希望实现：（1）在保持或接近现有方法准确性的同时，显著提高精确率；（2）使模型的IDK行为更加合理，即只在真正超出能力边界时才拒绝回答；（3）综合可靠性指标相比现有方法有明显提升。
与已有工作不同的是，本文的独特切入角度在于：现有工作（如BARREL）采用静态奖励鼓励IDK回答，但这种方法导致奖励黑客——模型过度保守，IDK率飙升至53.1%，严重损害准确性。作者认识到，智能体搜索模型的边界是动态的，取决于模型推理能力和检索信息质量的交互作用，因此需要一种能够根据训练阶段和每个查询的具体情况动态调整奖励的机制。BAPO通过两个关键创新填补了这一空白：基于组的边界感知奖励（只在模型确实无法解决问题时才奖励IDK）和自适应奖励调节器（在不同训练阶段和不同查询难度下战略性地调整IDK奖励）。
核心方法
BAPO的核心思想可以类比为教一个学生学会"诚实"：当遇到不会的问题时，与其胡乱猜测，不如坦承不知道。但这个教育过程需要智慧——不能一开始就鼓励说"不知道"，否则学生会偷懒；也不能只奖励答对，否则学生会硬编答案。BAPO的设计就是分阶段、分情况地进行教育：在探索阶段让学生专注于学习解题能力，在平台期再引入边界意识的培养；对于那些模型已经收敛但仍然答错的问题，才鼓励承认不知道。技术路线上，BAPO在GRPO基础上引入两个核心组件：边界感知奖励（Boundary-Aware Reward）和自适应奖励调节器（Adaptive Reward Modulator）。
BAPO最本质的创新在于认识到"鼓励IDK"和"保持探索"之间存在根本性冲突，并提出了一种动态平衡机制。与已有方法的核心区别是：BAPO不是简单地给IDK回答一个固定正向奖励，而是根据组内轨迹的分布来判断问题是否真的超出模型边界。具体而言，对于一个查询，如果模型在多次采样中都无法给出正确答案（即组内所有轨迹的正确性奖励都≤0），那么这个问题很可能超出了模型的能力边界，此时才对IDK回答给予奖励。更重要的是，BAPO引入了自适应调节器，在训练早期完全关闭IDK奖励以促进探索，在训练后期根据每个查询的轨迹多样性动态调整：对于模型仍在积极探索的查询（轨迹多样性高），关闭IDK奖励；对于模型已经收敛的查询（轨迹多样性低），启用IDK奖励。
方法步骤详情
BAPO的训练流程分为三个阶段：（1）智能体推理阶段：对于每个查询$，从当前策略$\pi_\theta$中采样$条轨迹$\{\tau_1, \tau_2, ..., \tau_G\}$，每条轨迹包含交替的推理步骤、搜索动作和观察结果。（2）奖励计算阶段：计算三种奖励——正确性奖励{Correct}$（检查格式和答案正确性，使用字符级F1分数）、边界感知奖励{IDK}$（当组内所有轨迹的正确性奖励都≤0时，对IDK回答给予0.5的奖励）、以及自适应调节器（根据训练阶段和轨迹多样性决定是否启用{IDK}$）。（3）策略更新阶段：使用GRPO算法更新策略，总奖励 = R_{IDK} + R_{Correct}$。自适应调节器在两个层面工作：阶段层面，在探索阶段（验证分数持续上升时）默认关闭{IDK}$，只在IDK率低于阈值$\alpha$时启用；在平台期（验证分数停滞5步时）完全启用{IDK}$。样本层面，在平台期，对于轨迹多样性高的查询（不同答案数≥/2$），关闭{IDK}$以保持探索；对于轨迹多样性低的查询，启用{IDK}$以培养边界意识。此外，对于组内无正确答案的查询，动态重采样最多$次，直到模型输出IDK或正确答案。
技术新颖性
BAPO的技术新颖性体现在三个方面：首先，边界感知奖励的设计——不是简单地奖励IDK，而是基于组内轨迹的分布来判断问题是否真的超出边界，这种"组级"判断比单条轨迹的置信度更可靠。其次，自适应奖励调节器的双层设计——阶段层面的调节解决了"何时开始培养边界意识"的问题，样本层面的调节解决了"对哪些查询培养边界意识"的问题，这种精细化控制是前所未有的。第三，动态重采样策略——对于组内无正确答案的查询，不是简单地标记为失败，而是扩大采样规模以更准确地估计模型边界，这基于一个关键洞察：增加采样数量可以更可靠地判断问题是"真的超出边界"还是"偶然失败"。实验表明，pass@24到pass@32的准确率趋于稳定，验证了这一设计的合理性。
实验结果
BAPO在四个多跳问答基准测试上进行了全面评估，结果令人印象深刻。在Qwen2.5-7B-Instruct上，BAPO的平均可靠性为56.7%，相比GRPO的47.0%提升了9.7个百分点，精确率从52.2%提升至57.8%（+5.6%），而准确率仅从51.65%微降至50.525%（-1.1%）。具体到每个数据集：HotpotQA上可靠性从60.0提升至65.5（+5.5），MuSiQue从29.5提升至36.6（+7.1），2WikiMultiHopQA从59.5提升至63.3（+3.8），Bamboogle从57.6提升至61.2（+3.6）。值得注意的是，BAPO仅使用5000个训练样本就达到了这样的效果，而Search-R1使用了90000个样本，ReSearch使用了19000个样本。在模型规模泛化实验中，BAPO在3B、7B、14B三个规模上都表现出一致的可靠性提升：3B上可靠性从30.2提升至51.3（+21.1），14B上从55.0提升至63.3（+8.3）。消融实验表明，移除边界感知奖励会导致IDK率飙升至53.1%，可靠性降至44.8；移除自适应调节器会导致IDK率从16.8%升至35.2%，可靠性降至49.0。拒绝成功率分析显示，BAPO训练的模型在3B、7B、14B上分别达到74.7%、76.7%、76.7%的拒绝成功率，表明模型能够准确识别超出其能力边界的问题。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HotpotQA | Reliability | 65.5 | GRPO: 60.0 | +5.5 (+9.2%) |
| MuSiQue | Reliability | 36.6 | GRPO: 29.5 | +7.1 (+24.1%) |
| 2WikiMultiHopQA | Reliability | 63.3 | GRPO: 59.5 | +3.8 (+6.4%) |
| Bamboogle | Reliability | 61.2 | GRPO: 57.6 | +3.6 (+6.3%) |
局限与改进
作者在论文中承认了三个主要局限性：首先，评估主要集中在知识密集型任务上，方法在其他类型推理问题（如数学推理、代码生成）上的泛化性尚未充分探索。其次，受计算资源限制，实验仅扩展到14B参数规模的模型，更大规模模型上的表现未知。第三，由于商业搜索API成本高昂，实验仅使用本地RAG设置，未能完全模拟真实网络搜索的噪声和动态性。从独立观察来看，本文还存在以下局限：训练数据仅来自HotpotQA和2WikiMultiHopQA，可能存在数据分布偏差；IDK阈值$\alpha$和重采样次数$等超参数需要针对不同任务进行调优；可靠性指标的定义（公式7）在IDK率极端情况下可能不够稳定；此外，论文未充分讨论BAPO在多轮对话或交互式场景中的适用性。
独立分析的弱点
经过独立分析，BAPO存在以下几个值得改进的弱点：首先，边界感知奖励依赖于组内轨迹的正确性判断，但正确性判断本身可能不准确——论文使用GPT-4作为评判，这引入了额外的不确定性和成本。改进方向是开发更轻量级的正确性验证方法，或利用模型自身的置信度信号。其次，自适应调节器的阶段切换基于验证分数的停滞判断，这种启发式方法可能不够鲁棒。可以考虑使用更精细的训练动态分析，如梯度方差或损失景观变化。第三，动态重采样策略虽然有效，但增加了计算开销。可以探索更高效的边界估计方法，如使用较小的模型进行预筛选。第四，BAPO的训练依赖于"组内无正确答案即为超出边界"的假设，但这个假设在问题本身有歧义或检索质量差的情况下可能不成立。需要引入更多信号来区分"模型能力不足"和"外部信息不足"。
未来方向
基于本文成果，未来研究可以从以下几个方向展开：（1）将BAPO扩展到更多任务类型，如数学推理、代码生成、多模态理解等，验证边界感知奖励的通用性。（2）探索BAPO与测试时计算（test-time compute）方法的结合，如在推理阶段动态调整搜索深度和IDK阈值。（3）研究更精细的边界建模方法，不仅区分"能解决"和"不能解决"，还能识别"部分能解决"的情况，给出更有信息量的回答。（4）将BAPO应用于更大规模的模型（如70B、400B），研究规模扩展对边界意识的影响。（5）探索BAPO在真实网络搜索环境中的表现，处理搜索结果噪声、时效性等问题。（6）研究BAPO训练的模型是否具有更好的可解释性——其IDK行为是否与人类判断一致。
复现评估
本文的复现性较好。代码已在GitHub开源（https://github.com/Liushiyu-0709/BAPO-Reliable-Search），训练数据来自公开数据集（HuggingFace上的Multi-Tool-RL-10K），检索环境基于FlashRAG工具包，使用E5-base-v2作为检索器和Wikipedia 2018年12月数据作为知识库。训练使用标准GRPO框架（verl），超参数设置清晰：学习率1e-6，批量大小64，训练2个epoch，rollout大小8，最大token数8192。对于7B模型，训练资源需求适中，可在单机多卡环境下完成。然而，复现时需要注意：BAPO特有的超参数（IDK阈值$\alpha=0.05$，重采样次数=2$）可能需要针对不同任务进行调优；评估使用GPT-4作为评判，需要相应的API访问权限；四个评估基准测试的数据集需要单独获取。总体而言，对于具备RL训练经验的研究者，复现难度为中等。
论文图表
展示了当智能体搜索模型产生错误回答时，其冗长复杂的推理过程使用户难以验证。图中对比了错误回答（模型自信地给出错误答案）和理想行为（模型应该承认信息不足，无法给出答案）。
这张图直观地展示了本文要解决的核心问题——模型不可靠的表现形式，帮助读者理解为什么需要培养模型的边界意识。
对比了Qwen2.5-7B-Instruct在RL训练前后的三个指标：训练前准确率41.25%、精确率50.76%、IDK率18.75%；训练后（ReSearch）准确率51.25%、精确率53.24%、IDK率3.65%。柱状图清晰显示RL训练后IDK率大幅下降，精确率提升有限。
这张图提供了关键的实证证据，证明标准RL训练确实削弱了模型的边界意识，为本文的动机提供了数据支持。