Agentic RAG 评估：问题、轨迹与读取间的预算分配 Agentic RAG Evaluation: Budget Allocation Across Questions, Trajectories, and Reads
同等 token 预算下，广覆盖问题比重复读取使策略对比标准误降低33%
前置知识
Agentic RAG 与搜索轨迹
检索增强生成的智能体形态：模型先自主规划多个搜索查询，再根据返回文档作答。一条轨迹指对一个问题完整执行'规划-检索-阅读'的流水线；Open 策略在检索前一次规划全部查询，Adaptive 策略则利用先前结果逐步规划后续查询。
论文比较的正是这两种策略，评估对象是它们答案 F1 的配对差值，轨迹是预算分配的基本单元之一。
嵌套方差分量模型
把观测到的策略差 $D_{dqtr}$ 分解为题间、题内轨迹间、轨迹内读取间三层随机效应，平衡设计下估计量方差近似为 $V(Q,T,R) \approx \sigma_Q^2/Q + \sigma_T^2/(QT) + \sigma_R^2/(QTR)$，各分量用均方 $MS_Q, MS_T, MS_R$ 估计，负值截断为零。
这是全文预测公式和 D 研究目标函数的基础，理解它才能明白为何加题、加轨迹、加读取消减方差的效率不同。
泛化理论与 D 研究
Generalizability theory 把测量误差按设计来源分解，D 研究（decision study）在给定成本下寻找使泛化精度最大的样本配置。本文的目标函数 $J_T(R) = (T\sigma_Q^2 + \sigma_T^2 + \sigma_R^2/R)(c_T + Rc_R)$ 同时计入估计方差与 token 成本。
'单次读取损失' $100[J_T(1)/\min_R J_T(R) - 1]$ 等关键指标都由该框架导出，是读懂第 4.2 节的前提。
问题自助法置信区间
以问题为重抽样单位、在数据集内整题重采的自助法。它保留 F1 有界分布和题-轨-读的嵌套依赖结构，主对比用 10,000 次重抽样取 2.5/97.5 百分位；Bootstrap 损失区间则用 3,000 次分层重拟合。
论文几乎所有结论都以 [下界,上界] 的自助区间呈现，需理解其单位是'整题'而非单次读取。
RRF 与 RR 检索选择器
两种把多个查询的结果列表融合为最终 5 篇文档的方法：RRF（倒数排名融合）对文档按 $1/(60+r)$ 跨列表求和排序；RR（轮转法）按名次优先、查询次之循环选取并跳过重复。两者共享同一候选池与首查询。
主对比同时平均两种选择器以消除融合算法偏好，配对读取调用数也因此翻倍，影响成本核算。
解码温度与答案一致性
温度控制采样的随机性：0.7 时同一证据包多次作答可能给出不同文本（本文实测不一致率 14.3%），温度 0 降到 3.4%。但温度也会改变被评估的行为本身，因此不能当作免费的降噪手段。
第 5.4 节用温度对照检验'降低随机性能否替代重复采样'，这是对重复读取价值最直接的挑战。
研究动机
评估一个 Agentic RAG 系统时，预算要在三个层面分配：覆盖多少问题、每个问题跑多少条搜索轨迹、每条轨迹重复生成多少次答案。但实践中几乎没人量化过这种分配对结论精度的影响：多覆盖更多问题和把读取次数从 1 提到 5，花掉的模型 token 几乎相同（约 34.2M），标准误却可能相差 33%。信息检索文献早已证明广覆盖通常优于深重复，但 Agentic RAG 引入了规划、检索、阅读三重成本，搜索 API 还有精确查询缓存与按次计费，简单套用旧原则并不成立。更麻烦的是，小样本审计估出的方差分量本身不稳定：96 题、两轨迹的审计把题间/轨迹方差按 69.5%/16.5% 分配，同样 48 题改成五轨迹后份额翻转为 31.6%/55.0%，让人无法放心外推。如何在 token 与搜索费用双重约束下设计一个精度可预测的评估，缺乏实证答案。
本文的目标是论文要回答三个具体问题。其一，在模型 token 预算固定在约 34.2M 时，把预算分配给问题数 $Q$、轨迹数 $T$ 还是读取次数 $R$，哪种组合能让 Open 与 Adaptive 两个搜索策略的答案 F1 配对差 $\Delta_{FB} = F1_{Adaptive} - F1_{Open}$ 的标准误最小，三种候选配置 A(446/2/1)、B(174/2/5)、C(298/3/1) 各自实测精度如何。其二，用一次仅 96 题、2 轨迹、5 读取的小型历史审计，能否在参数冻结的条件下准确预测任意 $(Q,T,R)$ 组合的精度，预测误差百分之几；简单的 $1/\sqrt{Q}$ 缩放基线是否已经够用。其三，只读一次答案损失多少精度，以及在把搜索按次计费纳入后，'多问题对多轨迹/多读取'的结论在 $0-1$ 美元/千次搜索的价格区间内是否依然成立。
与已有工作不同的是，本文的独特切入是把评估本身当作一个抽样设计问题做完整的实证测量，而不是提出新模型或新算法。首先是预注册式预测：审计参数与公式在新调用之前冻结，数值预测事后回算，杜绝用结果反推参数的选择偏差。其次，把嵌套泛化理论模型与一个极简基线正面比较——Q-only 模型假设方差全在题间、按 $1/\sqrt{Q}$ 缩放——首次量化复杂方差模型在 Agentic RAG 场景的真实增益，并用保存下来的轨迹与读取子集直接构造经验 SE 曲线来检验外推。第三，成本核算完整到检索层：同时记录逻辑检索次数与命中精确查询缓存后的真实请求数（A 为 6,235 次逻辑操作、缓存后 5,435 次请求），给出方差乘总费用对单次搜索价格 $p$ 的敏感度曲线 $C_j(p) = C^{model}_j + pN_j$，把'哪种分配更省钱'从口号变成带区间的边界结论。
核心方法
整体是一条检索反馈式策略对比流水线：在 HotpotQA 与 MuSiQue 等权混合的问题上比较两种搜索策略——Open 在检索前一次性规划 4 个查询，Adaptive 利用前序检索结果自适应规划第 2-4 个查询，两者共享首查询 $q_1$ 与其结果列表。每个查询取 top-10，RRF 与 RR 两种选择器从并集中各选 5 篇文档（每篇截取 5,000 字符前缀）交给阅读器作答，温度 0.7、256 token 上限。方法分五步：先用 96 题/2 轨迹/5 读取的历史审计拟合方差分量；再在固定 34.2M token 目标下执行三种分配 A(446/2/1)、B(174/2/5)、C(298/3/1)，共 12,824 个计划单元；然后测量各配置实测标准误并与冻结参数的预测对比；接着用 48 题五轨迹深度面板枚举全部轨迹/读取子集检验外推能力；最后叠加模型对照（Flash 与 Pro，96 题 2T/2R）、温度对照（0 与 0.7，同证据包各三次读取）以及纳入搜索单价的费用敏感度分析。
核心思想是把评估预算写成'嵌套方差分解 + 成本函数'的联合设计问题。对数据集 $d$、问题 $q$、轨迹 $t$、读取 $r$ 的策略差 $D^{(s)}_{dqtr}$，平衡嵌套设计下估计量方差近似为 $V(Q,T,R) \approx \sigma_Q^2/Q + \sigma_T^2/(QT) + \sigma_R^2/(QTR)$；固定 $T$ 时的 D 研究目标为 $J_T(R) = (T\sigma_Q^2 + \sigma_T^2 + \sigma_R^2/R)(c_T + Rc_R)$，其中 $c_T, c_R$ 是配对规划与阅读的 token 成本，单次读取损失定义为 $100[J_T(1)/\min_R J_T(R) - 1]$，即同等 token 预算下读一次相对最优读取次数的方差超额百分比。与已有工作的本质区别在于它不止步于理论分配公式，而是用预注册审计去预测新运行的实测精度（预测 1.07/1.59/1.19 对实测 1.03/1.54/1.18），并全程对照 Q-only 基线检验复杂模型是否值得，从而把'广覆盖还是深重复'从定性原则变成可复核的定量结论。
方法步骤详情
第一步，搭配对流水线：FineWeb 经 DeepResearchGym 提供 7 个分区，RRF 按 $1/(60+r)$ 跨查询列表求和、RR 按名次轮转去重，各选 5 篇文档组成最终包，同包重复读取共享调用。第二步，划面板：历史审计 96 题（2T/5R）；扩展实验按种子洗牌分配 A(446/2/1)、B(174/2/5)、C(298/3/1)，共享单元只跑一次、失败记零分，另有 96 题模型对照与 48 题深度面板，共 12,824 个单元。第三步，估计精度：答案取归一化 F1，题内先平均轨迹与读取，数据集内以 $Q-2$ 自由度的题间均方估分量、数据集间等权，主对比做 10,000 次整题自助重抽样。第四步，预测与验证：嵌套与 Q-only 各自预测 A/B/C 的 SE，再在深度面板枚举全部轨迹/读取子集，算经验 SE 与 MAE。第五步，成本与效率：配对记账共享首规划调用，按缓存折扣费率统计 token 与去重请求数，费用敏感度用 $C_j(p)=C^{model}_j+pN_j$；单读损失经 3,000 次自助重拟合，并做温度 0/0.7 同包对照。
技术新颖性
技术新颖性有三点。第一，把泛化理论的 D 研究第一次套进 Agentic RAG 的完整成本结构：规划与阅读 token、搜索请求量与精确查询缓存一并入账，得出此前不存在的边界结论——多问题在 token 效率与 $0-1$ 美元/千次搜索价格区间内同时胜过多轨迹（C/A 的方差×总费比 1.31 [1.05,1.61] 降到 1.25 [1.01,1.54]，下界始终大于 1），但对多读取的货币排序无法判定（B/A 从 1.01 变到 0.88，区间始终包含 1）。第二，用保存的轨迹与读取子集直接构造经验 SE 曲线（48 题单读面板 SE 从 T=1 的 4.21 降到 T=5 的 2.83），绕开纯模型外推的可信度问题。第三，诚实量化二轨迹审计的不稳定性：T 从 2 升到 5 时题间/轨迹方差份额从 69.5%/16.5% 翻转为 31.6%/55.0%，据此给出'审计轨迹数须超过 2'的可操作建议，并证明 Q-only 基线在插值区几乎不输嵌套模型。
实验结果
(1) 实测精度：A/B/C 实测标准误 1.03/1.54/1.18 个 F1 点，token 34.20/34.14/34.39M（差<0.8%）；A 比 B 低 33.3%、比 C 低 12.6%，策略差异 +1.66 [-0.27,+3.65]。(2) 预测：嵌套与 Q-only 各预测 1.07/1.59/1.19（≤4.0%）与 0.99/1.59/1.22（≤3.5%）；深度面板嵌套 MAE 0.18 对 Q-only 0.37（优势区间含 0），增益全来自 T=1,2，T=3-5 时 0.16 对 0.13 [-0.25,0.25]，轨迹外推无可靠优势。(3) 读取效率：15 个设置单读损失 0-9.9%，Flash 各 0-2%，Pro/RRF 9.9% [0,57.1]、Pro/RR 仅 0.26%；Flash 单读/双读方差×token 比 0.736 [0.727,0.761]。(4) 成本与温度：去重搜索请求 5,435/2,128/5,041 次；温度 0 把同包答案不一致从 14.3% 降至 3.4%，但单读 SE 比 1.01 [0.91,1.14]。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 策略对比精度：A(446题/2轨迹/1读取) vs B(174题/2轨迹/5读取)，同等 token 预算 | 标准误（F1 点） | A：1.03（34.20M token，5,435 次搜索请求） | B：1.54（34.14M token，2,128 次搜索请求） | SE 降低 33.3%，SE 比值区间显著优于 B；代价是搜索请求数增至 2.55 倍 |
| 策略对比精度：A(446/2/1) vs C(298/3/1) | 标准误（F1 点） | A：1.03 | C：1.18（34.39M token） | SE 降低 12.6%；费用口径下 C/A 方差×总费比为 1.31 [1.05,1.61]（免费搜索）至 1.25 [1.01,1.54]（$1/千次） |
| 精度预测：48 题深度面板全部轨迹/读取子集 + B 全部读取子集 | 平均绝对误差 MAE（F1 点） | 嵌套模型 0.18（T>2 时 0.16） | Q-only 缩放基线 0.37（T>2 时 0.13） | 总体配对优势 0.19 但区间 [-0.06,0.36] 含 0；外推 T>2 时无优势，A/B/C 初始分配上两者误差均 ≤4% |
| 单次读取效率：固定轨迹与 token 预算，读 1 次对比拟合最优读取数 | 方差×token 相对比 / 单读损失百分比 | Flash 直接检验比值 0.736 [0.727,0.761]，各设置损失 0-2% | 拟合最优读取次数为基准（损失 0%）；Pro/RRF 比值 1.134 [0.913,1.636]，损失 9.9% [0,57.1] | Flash 工作流单读几乎无损失；Pro 模型不确定度过大，无法给出默认值 |
| 答案一致性：固定证据包上的温度对照（96 题，2 轨迹，选择器平均） | 归一化答案不一致率 / 单读 SE 比（温度0 ÷ 温度0.7） | 温度 0：不一致率 3.4%，单读 SE 2.38 | 温度 0.7：不一致率 14.3%，单读 SE 2.36 | 不一致率降约 4 倍，但对比精度 SE 比 1.01 [0.91,1.14]，无实质提升 |
局限与改进
作者明确承认：证据只覆盖一次策略对比、一个模型家族（DeepSeek Flash/Pro）、一个 FineWeb 端点和两个 F1 约 30 的 QA 数据集；预测验证受时间顺序限制，未执行独立的等额美元实验；费用结论依赖当次记录的交错缓存状态，缓存策略一变排序可能翻转；96 题 Pro 面板信息量不足以给出读取次数的可靠默认值。我补充几点：实验对'两个策略谁更优'本身并无定论（+1.66 的区间含 0），方差结论能否推广到效应量更小的对比未知；污染检查只覆盖 URL 级掩码（35,300+35,450 个候选槽位与 8,900+8,910 个阅读槽位零命中），语义污染与别名泄漏（证据可用率仅约 55%）未排除；整个扩展在 16 分钟内以 24 并发跑完，服务端缓存与限流行为可能与长周期评估差异很大；全部依赖 F1 度量，对开放式生成任务的适配性存疑。
独立分析的弱点
第一，二轨迹审计是最大短板：方差分量在 T=2 与 T=5 之间剧烈翻转（题间/轨迹份额 69.5%/16.5% 变为 31.6%/55.0%），意味着任何只跑两条轨迹的预审计都不足以预测轨迹维度的缩放，改进方向是审计阶段至少 3-5 条轨迹，或采用跨题部分共享轨迹的交叉设计来解耦分量。第二，单一策略对与单一模型家族限制外推：若策略差异缩小到 0.5 个 F1 点以下，读取噪声占比会剧增，'单读最优'是否仍成立需在不同效应量与模型上重验。第三，费用敏感度把缓存命中率与请求量冻结在记录值上（A 的搜索请求是 B 的 2.55 倍），现实中价格与折扣随供应商波动，应扫描缓存率参数而非固定。第四，Q-only 基线在插值区几乎不输（误差 ≤3.5%），说明嵌套模型的额外复杂度回报有限，论文未给出'何时必须用嵌套模型'的决策规则。第五，未测量证据充分性的上限：别名出现率仅约 55%，SE 中有多大比例来自检索根本找不到证据无从判断，建议补充 oracle 检索上限实验。
未来方向
作者提出的方向包括：用多于两条轨迹的审计重做预测研究，解决轨迹数外推不可靠的问题；执行真正独立的等额美元分配实验，把搜索费用放进约束而非只匹配 token；对 Pro 类昂贵模型扩充面板，收窄 9.9% [0,57.1] 这样宽得不实用的损失区间。基于本文成果还可延伸：其一，把 $J_T(R)$ 目标改造成在线自适应分配——边运行边更新方差分量估计，动态决定下一单位预算该买新问题、新轨迹还是新读取；其二，把框架迁移到开放式生成与长文本任务，用裁判模型评分方差替代 F1 方差；其三，系统研究温度、采样参数与方差分量的交互（本文只对照了 0 与 0.7）；其四，把污染检测从 URL 掩码升级为语义级查重，并测量 oracle 证据上限；其五，在多任务多数据集上检验 $\sigma_Q^2$ 等分量的可迁移性，形成跨任务的评估预算查询表。
复现评估
复现支持相当扎实：论文声明随文发布完整工件，包含全部打分结果、成本记录、历史审计数据、预测出处与独立分析脚本；附录 A 逐字给出规划器与阅读器的系统/用户提示词及 JSON 模板，附录 B 精确定义 RRF/RR 的并列与去重规则，附录 C 记录冻结清单、面板不相交性检查与污染掩码，附录 E 的数据集调整审计结果存于 dataset_adjustment_audit.json。全部 12,824 个计划单元连同失败单元（Flash 20 个规划失败、4 个格式错误，Pro 4 个规划失败）均被保留。障碍在于：模型调用依赖 DeepSeek API（每个分配约 34M token，Flash 成本不高、重跑 Pro 更贵），检索依赖 DeepResearchGym 的 FineWeb 端点，且作者明言不可变的模型或索引快照不可得，精确复现不可能、只能复现方法学。整体难度中等：统计部分只需标准 Python 生态，工程难点在复刻精确查询缓存与配对记账逻辑。
论文图表