Hi-Q：面向多跳问答的分层证据引导查询精炼 Hi-Q: Hierarchical Evidence-guided Query Refinement for Multi-Hop Question Answering
按证据支持度自适应控制查询粒度，用依赖有序的二叉查询树攻克多跳检索问答
前置知识
多跳问答（Multi-hop QA）
指回答一个问题需要在语料库中串联多个相互依赖的推理步骤的问答任务。例如“III 的演唱者出生地那场战斗何时开始”，必须先查到 III 是 Stanton Moore 的专辑，再查到他生于新奥尔良，最后才能检索新奥尔良战役的开始日期。经典基准包括 MuSiQue、HotpotQA、2WikiMultiHopQA，问题链条上任何一环缺失都会导致最终答案错误。
本文的全部设计都围绕多跳问答的证据依赖链展开，三个评测基准也全部来自这类任务，不理解多跳结构就无法理解为什么查询需要按依赖顺序分解。
检索增强生成（RAG）与密集检索
RAG 先用检索器（如 NV-Embed-v2 这类稠密向量模型）从语料中取与查询最相似的 top-k 段落，再让大模型基于这些段落生成答案。检索单元通常是切分好的 passage，查询与段落的语义相似度决定召回质量；当查询粒度与证据粒度错位时，即使答案存在语料中也会检索失败。
Hi-Q 本质上是一种 RAG 检索编排方法：它不换检索器、不训模型，而是决定“每一次检索调用应该用什么粒度的查询发出”，理解 RAG 的 top-k 检索机制是理解全文的前提。
图 RAG 与迭代检索
图 RAG（GraphRAG、RAPTOR、HippoRAG、PropRAG）在检索前对整个语料预构建图或层次摘要结构，查询到来后沿图检索；迭代检索（IRCoT、Self-Ask、ReAct）则让 LLM 交替推理和检索，根据中间发现生成后续查询。前者的问题是查询到来前就固定了检索粒度且预计算昂贵，后者的问题是从不检验上一步查询是否真的被证据支持，早期错误会向后传播。
这两类方法是 Hi-Q 的主要对比基线，论文的动机分析（Figure 1 的三种失败模式）和主要实验结论都是相对于它们建立的。
EM / F1 与 Recall@k
EM（Exact Match）指预测答案与标准答案完全一致的比例；token 级 F1 衡量预测与标准答案在词元层面的重叠调和平均，对部分正确更宽容。Recall@k 衡量金标支持段落是否出现在检索返回的 top-k 段落中。本文对多查询方法把所有节点检索的段落合并去重后统一重排再算 Recall@k，保证各方法名义预算 k 一致。
论文主实验表全部用这四个指标报告，且特别区分“检索召回高但答题不准”的现象，只有理解指标含义才能读懂 Table 1、2 和 Self-Ask 反例的讨论。
代价敏感决策与阈值规则
把二元决策（停止/继续分解）的两种错误设为代价：对已可解的查询错误分解损失 $\Delta_R$，对未解决的查询错误停止损失 $\Delta_U$。最小化条件期望代价后，最优策略退化为一个后验概率阈值：当未解决概率 $Pr[Z=U]$ 超过 $\Delta_R/(\Delta_R+\Delta_U)$ 时才扩张。这是决策理论中经典的贝叶斯阈值结果。
Hi-Q 的 STOP/EXPAND 控制策略在附录 B 中正是由这个阈值规则推导的，理解它才能明白为什么“用阅读器答不出作为触发信号”不是拍脑袋，而是有理论刻画的最优决策的可操作近似。
研究动机
多跳问答的核心瓶颈在于：问题被表达的粒度与语料中证据可被检索到的粒度往往不一致。一个粗粒度的自然语言问题实际上把一条相互依赖的信息需求链压缩成了一句话——例如“When was the start of the battle of the birthplace of the performer of III?”，需要先找到 III 的演唱者，再找到该演唱者的出生地，最后才能查那场战斗的日期。论文用同一个查询展示了三种具体失败模式：单次检索中 top-k 段落只匹配“III”“battle”等表面词，全链条证据缺失；图 RAG（如 HippoRAG/PropRAG）预构建的图结构是查询无关的固定粒度，可能退化为种子节点表面匹配，错过金标文档；迭代检索（如 IRCoT）每步改写查询但从不对“当前查询是否已被证据支持”做检验，示例中 LLM 因未先确定演唱者而错误回答 1936 年的马德里围城战。更根本的问题是，即使问题逻辑上可分解，事先也不清楚哪个中间表述与语料检索最对齐：查询太粗会让多个推理约束互相干扰，查询太细又会丢失上下文约束、过度碎片化。
本文的目标是本文的目标是把多跳 RAG 重新形式化为“可检索粒度发现”问题：不再问如何预先分解一个问题，而是发现语料中每个推理步骤在什么查询粒度下变得既可检索又可回答。具体地，Hi-Q 要构建一个查询树，其拓扑完全由语料的支持信号（检索反馈）决定，而非固定分解模板或预构建图；树中每个叶节点的查询都能被检索到的证据独立解决，且依赖组合后仍保持原始问题 $Q$ 的完整意图。同时该框架必须免训练、不需要语料级图构建，能在完整语料（从 MuSiQue 的 139,416 段到 HotpotQA 的 5,233,235 段）上以可接受的成本运行，并保证依赖前置子查询在依赖子查询之前解决，避免早期错误传播。
与已有工作不同的是，本文的独特切入角度是把“查询粒度”从固定设计选择变成显式的控制变量，并让控制信号来自证据状态本身。已有方法各占一角：查询分解方法（Least-to-Most、Q-DREAM）在看到任何证据前就提交全部分解；迭代检索观察到证据但从不检验已发出查询的可检索性；图 RAG 把粒度决策放在查询到来之前的语料侧；自适应 RAG 只凭问题文本预测复杂度就选策略。Hi-Q 指出并形式化了关键缺失：当同一查询在不同证据暴露下最优动作相反时，任何只以查询为条件的策略都存在无法靠增加查询级训练数据消除的严格正遗憾（附录 B），因此控制必须以证据状态 $\tilde{x}=(x,D)$ 为条件。这就是“何时分解”而非“如何分解”的视角转换，且作者证明了阅读器答不出（$a=\bot$）这一免训练信号足以作为该决策的操作性测试。
核心方法
Hi-Q 的直觉是“先试后拆”：面对一个多跳查询，先按当前粒度去检索并尝试作答，如果阅读器能从 top-5 段落中给出答案，说明当前查询已经处于可检索粒度，直接终止；只有当阅读器返回无答案符号 $\bot$ 时，才把查询二分成一个前置子查询和一个依赖子查询，递归处理。技术上，Hi-Q 维护搜索状态 $x=(q,H,d)$，其中 $q$ 是当前查询节点，$H$ 是累积交互历史，$d$ 是递归深度。每步先运行解析算子 $G(q,H,C)\rightarrow(s,a,D)$：它根据历史 $H$ 改写查询以锚定原问题 $Q$，用 NV-Embed-v2 检索 top-5 段落 $D=R_k(q,C)$，再由检索接地的阅读器作答，返回解析状态 $s\in\{\text{RESOLVED},\text{UNRESOLVED}\}$、答案 $a$（未解决时 $a=\bot$）和证据 $D$。策略 $\pi(\tilde{x},s)$ 依据解析后状态决策：已解决则 STOP；深度达上限 $d_{\max}=4$ 或节点不可分解则 FAIL；否则 EXPAND，调用二元扩展算子 $B(q,H,Q)$ 生成 $(q_{left},q_{right})$，满足依赖约束 $q_{left}\prec q_{right}$（前置分支先解决）和语义覆盖约束 $V(Q,q,q_{left},q_{right})$（两个子查询合起来无损恢复父查询意图）。
核心创新是失败感知的证据引导粒度控制：把“是否分解”形式化为对未解决支持度的代价敏感阈值检验。设 $Z\in\{R,U\}$ 表示当前节点从检索证据出发是否可解，$\Delta_R(\tilde{x})>0$ 是错误分解可解节点的代价（含下游子树检索与 LLM 调用、漂移风险、合成与最终答案损失），$\Delta_U(\tilde{x})>0$ 是在未解决节点上停止的代价，最小化条件期望代价得到阈值规则：$$\pi^*(\tilde{x})=\text{EXPAND}\iff Pr[Z=U\mid\tilde{x}]\ \ge\ \frac{\Delta_R(\tilde{x})}{\Delta_R(\tilde{x})+\Delta_U(\tilde{x})}.$$ Hi-Q 用一个免训练的硬分类器实现它：$a\neq\bot$ 则视为证据对齐并停止，$a=\bot$ 则节点有资格被精炼。这与已有方法的本质区别在于控制条件是证据状态而非查询文本：查询分解预先承诺全部分解，迭代检索从不检验发出的查询是否可检索，图 RAG 的粒度在查询到来前就固定，只看问题的路由器在看到证据前就决策。作者论证任何只以查询为条件的策略在此设定下都有不可消除的正遗憾，同时该硬分类器可以随时被校准分类器、蕴含模型或训练过的代价敏感路由器替换而不改变控制语义。另一个关键设计是依赖保持的二分：左分支解析桥接事实，其答案和证据写入 $H$ 后才解决右分支，使依赖子查询以已解析实体落地（如把“III 演唱者的出生地”改写为“Stanton Moore 的出生地”）。
方法步骤详情
完整流程如下。第一步，解析与改写：输入当前查询节点 $q$ 与历史 $H$，LLM 把 $q$ 改写成锚定原问题 $Q$、用已解析实体替换抽象指代的具体查询——例如左分支确认 III 的演唱者是 Stanton Moore 后，下游查询被改写为关于 Stanton Moore 出生地的查询。第二步，检索：用 NV-Embed-v2 对语料做 L2 归一化点积检索取 top-5 段落 $D$。第三步，阅读器作答：阅读器（默认 GPT-4o-mini，温度 0）基于 $D$ 回答，若 $a\neq\bot$ 则节点 RESOLVED，终止并返回答案。第四步，触发分解：$a=\bot$ 且深度 $d<d_{\max}=4$ 时，二元扩展算子 $B(q,H,Q)$ 沿实体指代和关系依赖（组合、时间或因果）而非表面句法生成恰好两个子查询：$q_{left}$ 解决桥接事实，$q_{right}$ 利用桥接实体逼近父查询答案。第五步，语义覆盖验证：验证器 $V$ 检查“依次解决 $q_{left}$、$q_{right}$”是否无增删、无乱序地恢复 $q$ 的意图，不一致则修复一次；修复后仍不一致则该节点标记为不可分解，该分支停止。第六步，依赖有序递归：先递归解决 $q_{left}$，把其答案、检索证据与中间上下文写入 $H$（即使 $q_{left}$ 未解决也保留其部分证据以支撑依赖分支），再在更新后的 $H$ 下解决 $q_{right}$；子节点解析则停止递归，不可分解或达深度上限则返回 $\bot$ 并携带现有证据继续。第七步，综合：一个合成步骤汇总各叶子答案、证据、未决子目标与历史生成最终答案，当存在多个有证据支持的候选时，依据与其他子查询结果的一致性消歧而非只取最高排名段落。一个含 $m$ 个叶信息需求的计划至多经过 $m-1$ 次二分归约完成。
技术新颖性
技术新颖性体现在四个层面。其一，控制信号的新颖性：首次把多跳 RAG 的分解决策条件化为检索反馈（解析算子的 $a=\bot$），并证明这是代价敏感阈值 $Pr[Z=U\mid\tilde{x}]\ge\Delta_R/(\Delta_R+\Delta_U)$ 的操作性实现，附录 D 实测基于查询的习得路由器退化为近似常值策略，反衬证据条件化的必要性。其二，拓扑确定方式：查询树由语料支持信号在线决定，而非预建图（GraphRAG/HippoRAG/PropRAG 需要语料级预计算，PropRAG 在 520 万段的 HotpotQA 上仅建图就要超过 2,500 美元 API 费用）或固定分解模板，因此 Hi-Q 天然避免语料级构建成本。其三，二分而非 N 叉分解：递归二分保证每步留下足够上下文以供证据检验是否继续精炼，$m$ 个叶需求至多 $m-1$ 次归约；附录 L 显示在叶需求从 2 到 5 的受控集合上二分精度稳定，无限制分支的 N 叉无提升，而把分支压成一步扁平 N 叉合并显著更差。其四，控制器接口的可替换性：硬触发只是占位实现，校准分类器、蕴含模型或学习型路由器可以无缝替换，方法的贡献在于“控制应观察证据状态”这一接口本身。触发诊断进一步支撑信号质量：在 MuSiQue 上人工分析 100 个 $a=\bot$ 触发，约 90% 是真实的未解决查询—证据状态，误触发率仅 10%。
实验结果
全语料库检索（主实验，Table 1）中，Hi-Q 在 MuSiQue-full、2Wiki-full、HotpotQA-full 三个基准（语料规模分别为 139,416、430,225、5,233,235 段）上平均达到 52.3 EM / 64.0 F1，超过迭代检索基线 IRCoT 15.1 EM / 18.2 F1（各基准的 EM 差距为 MuSiQue +13.0、2Wiki +27.0、HotpotQA +5.4），并在可负担建图的两个数据集上超过 PropRAG：MuSiQue-full +11.5 EM / +12.0 F1（37.4/50.6 对 25.8/38.6），2Wiki-full +9.9 EM / +12.1 F1；PropRAG 在 HotpotQA-full 上因建图成本超 2,500 美元无法运行。受控支持/干扰池设定（Table 2，与先前工作可比）中 Hi-Q 平均 57.9 EM / 69.3 F1，超 PropRAG 5.6 EM / 3.9 F1、超 IRCoT 13.7 EM / 15.8 F1；全部 22 组 EM/F1 对比中 19 组 $p<10^{-4}$。对代码智能体和递归语言模型分别领先 30.8/26.8 与 24.4/26.7 EM/F1。触发诊断（Table 3）显示分解能恢复根检索错过的证据：触发案例上 all-gold 覆盖从 Root@5 的 7.9% 升至 Leaf@5 的 42.7%（预算对齐），Leaf@all 达 57.7%，答案恢复率 38.7%——预算对齐即拿走大部分增益，说明提升来自排序而非数量。信号精度方面（Table 4/5），$a=\bot$ 触发中约 90% 为真未解决状态，误触发率 10%；正常查询 FRR=11%，50 个对抗性不可答查询识别出 49 个（FAR=2%）。消融（Table 6）显示去掉层次分解降至 51.5 EM / 63.7 F1，去掉依赖感知降至 47.1 EM / 56.0 F1，失败感知触发优于 always-decompose 3.4 个百分点（60.7 对 57.3 EM，100 题采样）。按跳数分层（Figure 3/Table 7），4 跳时 Hi-Q 达 39.2 F1，高于 IRCoT 的 35.4 和 PropRAG 的 26.9，验证器在 4 跳深度贡献 1.0 F1。成本上（Table 8），Hi-Q 全配置每题 13.5 秒、5.7 次 LLM 调用、12,343 输入 token，总 token 比 IRCoT 少 70.5%；成本对齐版（深度封顶 1）在 2.93 次调用下比 IRCoT（2.92 次）快 25%、每题 API 成本省 8.6 倍，同时平均提升 10.4 EM / 11.6 F1（所有三个基准 EM 增益 +3.5 到 +18.1，$p\le0.0036$）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多跳问答·全语料库检索（MuSiQue-full / 2Wiki-full / HotpotQA-full 三基准平均） | EM / F1 | Hi-Q 平均 52.3 EM / 64.0 F1（各基准：MuSiQue 37.4/50.6，2Wiki 62.0/71.4，HotpotQA 57.4/69.9） | IRCoT 平均约 37.2 EM / 45.8 F1；PropRAG 在 MuSiQue-full 25.8/38.6、2Wiki-full 52.1/59.3（HotpotQA-full 因建图成本超 $2,500 未运行） | 超 IRCoT +15.1 EM / +18.2 F1；超 PropRAG：MuSiQue-full +11.5 EM / +12.0 F1，2Wiki-full +9.9 EM / +12.1 F1 |
| 多跳问答·受控支持/干扰池检索（三基准平均） | EM / F1 / Recall@5 | Hi-Q 平均 57.9 EM / 69.3 F1 / 88.4 R@5（HotpotQA 64.3/77.4，MuSiQue 45.0/57.2，2Wiki 64.5/73.4） | PropRAG 平均 52.3 EM / 65.4 F1 / 88.0 R@5；IRCoT 平均 44.2 EM / 53.5 F1；HippoRAG 2 平均 50.6 EM / 63.4 F1 | 超 PropRAG +5.6 EM / +3.9 F1（MuSiQue 上 +7.3 EM / +5.0 F1）；超 IRCoT +13.7 EM / +15.8 F1；19/22 组显著性检验 $p<10^{-4}$ |
| 多跳问答·成本对齐配置（Hi-Q 深度封顶 1，三基准宏平均） | EM / F1 / 延迟 / API 成本 | Hi-Q (cost-matched)：2.93 次 LLM 调用，4,641 输入 token，4.8 秒，平均提升 10.4 EM / 11.6 F1 | IRCoT：2.92 次 LLM 调用，43,701 输入 token，6.4 秒（GPT-4o-mini，$0.15/$0.60 每百万输入/输出 token） | 调用数持平下快 25%、每题 API 成本省 8.6 倍、输入 token 少 9.4 倍；EM 增益在全部三个基准成立（+3.5 至 +18.1，$p\le0.0036$） |
| 触发信号质量诊断（MuSiQue） | 误触发率 / FRR / FAR | 100 个人工标注的 $a=\bot$ 触发中约 90% 为真实未解决状态；正常 100 题 FRR=11% 且全部 11 个空输出标注为证据缺失/不完整；对抗不可答 50 题识别 49 题 | 触发原因分布：粒度错配 66%、标注错误 14%、畸形子查询 10%、假弃答 7%、阅读器失败 3% | 无歧义误触发率仅 10%；对抗性不可答查询 FAR=2%，同时正常查询上保持保守弃答 |
| 触发案例证据恢复（MuSiQue，触发子集 n=503，Clean n=279） | All-gold 覆盖率（Root@5 / Leaf@5 / Leaf@all）与 EM 恢复率 | Clean 子集：Root@5 7.9% → Leaf@5 42.7%（+34.8）→ Leaf@all 57.7%；EM 恢复率 38.7% | 根查询单次 top-5 检索（Root@5） | 预算对齐的 Leaf@5 即获得 +34.8 个百分点的金标覆盖，说明增益来自分解改变排序而非单纯检索更多段落 |
局限与改进
作者承认的局限主要有三点：其一，延迟与输出开销是真实的——全配置平均延迟是 IRCoT 的 2.11 倍（13.5 秒对 6.4 秒）、LLM 调用 1.95 倍、输出 token 7.54 倍，成本对齐配置虽然更快更便宜，但输出 token 仍比 IRCoT 高 77%（131 对 74），即“便宜但不 uniformly 更轻”；其二，触发信号是一个未经校准的硬分类器，作者明确声明它不计算后验，FRR=11% 意味着约一成可解题会被错误分解，且假弃答占触发的 7%；其三，PropRAG 在 HotpotQA-full 上缺失，使最大语料上的图 RAG 对比不完全。我自己的观察还包括：评估依赖 GPT-4o-mini 作为阅读器，触发信号质量与阅读器弃答能力强耦合，换用弱模型时 90% 的触发精度未必保持（附录 F 的替代实验仅覆盖 reader/embedding 替换的精度影响）；数据集每基准采样 1,000 题，MuSiQue 中有 366 题标注错误被 Clean 子集剔除（占触发子集相当比例），说明结论对基准噪声敏感；语义覆盖验证器只允许一次修复，深层链条上漂移防护有限（Table 7 显示 4 跳仍有 39.2 对 38.2 的差距需要验证器）；此外 $d_{\max}=4$ 的深度上限是按 MuSiQue 最大推理深度设定的，对超过 4 跳的链条方法行为未验证。
独立分析的弱点
第一，触发信号对阅读器能力的依赖是结构性弱点：$a=\bot$ 既是“证据不支持”的信号，也混入了阅读器自身能力不足（触发原因中 3% 为 reader failure、7% 为假弃答），在多语言、专业领域或弱开源模型上，同一机制可能产生大量假触发导致过度碎片化。改进方向：训练一个以（查询、检索证据）对为输入的轻量校准分类器或蕴含模型替换硬触发，论文附录 C 已证明接口兼容。第二，递归串行带来的延迟：全配置 13.5 秒/题，且依赖约束（左分支先解）天然限制并行性，在线服务场景不友好。改进方向：在依赖图允许的范围内并行调度独立子分支，或蒸馏该控制回路为单次前向的查询规划器。第三，成本对齐配置牺牲了递归深度（封顶 1），在 MuSiQue 这类深链数据上的表现与全配置差距（全配置多 3.3 EM / 4.2 F1）说明精度-成本权衡仍很粗糙。改进方向：自适应深度预算，按触发信号的置信度而非固定封顶决定递归。第四，验证器只修复一次且依赖同一 LLM 家族，自我验证的可靠性存疑；可引入独立模型或基于检索一致性的外部验证信号。第五，基准噪声问题：MuSiQue 有 366 题标注错误，触发的 14% 由标注错误引起，未来应在噪声更可控的评测或人工校验集上复核触发精度的结论。
未来方向
作者明确提出的延伸方向包括：用校准分类器、蕴含模型或训练的代价敏感路由器替换 $\bot$ 硬触发而不改变控制语义（附录 B/C 的理论框架直接支持），即把 Hi-Q 的接口与监督或强化学习控制器结合——学习型策略若观察同样的证据状态，即可无缝插入；附录 D 显示只看查询的路由器退化为近似常值策略，反向说明证据条件化的学习控制器值得探索。基于本文成果可自然延伸的方向还有：其一，把“可检索粒度发现”推广到多模态或多轮对话场景，其中查询与证据的粒度错配同样存在但信号形态不同；其二，语料动态更新下的在线适应性——Hi-Q 无需语料级预构建，天然适合流式语料，可研究触发阈值随语料漂移的在线校准；其三，把依赖有序二叉树与并行执行结合，在保持依赖约束的同时压缩延迟；其四，系统性的精度-成本 Pareto 探索，目前只测了全配置与深度封顶两点，中间存在大量未刻画的工作点；其五，触发诊断框架本身（FRR/FAR、因果分类）可作为可复用评估协议推广到其他自适应检索方法。最后，将阅读器换为更强的推理模型（附录 F 已测 Llama-3.3-70B 与 Qwen3-30B-A3B）后重新标定阈值，也是低成本的验证方向。
复现评估
复现条件总体友好。论文提供了项目页面（https://hi-q-project.github.io/），正文中未明确声明代码开源，但附录 A 给出完整递归算法伪代码、附录 O 列出全部提示模板，方法描述（状态、算子、阈值规则、二分约束、验证器修复策略、$d_{\max}=4$、$k=5$、NV-Embed-v2、温度 0）足够详细，工程复现的信息完备度较高。评测使用公开基准 MuSiQue、HotpotQA、2WikiMultiHopQA 各采样 1,000 题，检索语料即基准自带完整语料，无需额外数据；阅读器为 GPT-4o-mini（每题全配置约 12,343 输入 + 558 输出 token，按 2026 年 8 月牌价 $0.15/$0.60 每百万 token，千题成本估计在个位数美元量级），嵌入模型 NV-Embed-v2 开源可得，无训练环节，单卡即可运行检索侧。主要复现风险在于：提示工程的细节敏感性（改写、分解、验证、弃答判断全靠提示）、$a=\bot$ 判定的边界规则、以及基线复现标记（表中带 * 的 PropRAG、Self-Ask、IRCoT 等为作者在自己设定下复现，直接对齐需重跑）；此外编码智能体与 RLM 基线是受控改编而非原配置复现。综合评估：对有 RAG 经验的团队，核心方法复现难度为中等偏低，完整基线矩阵复现工作量较大。
论文图表
以同一个多跳问题“When was the start of the battle of the birthplace of the performer of III?”在同一语料上并排展示三类方法的失败过程：(a) 单次检索只召回匹配表面词（III、battle）的段落，金标文档缺席，答错；(b) 图 RAG 召回排名 1、2 的段落（Sempach 战役、Korytsa 战役）均非新奥尔良战役，无法找到相关段落；(c) 迭代检索中 LLM 未先确定 III 的演唱者就把查询引向 1936 年马德里，得出错误答案。
这张图是全文动机的具象化：三种失败模式分别对应单次检索的粒度纠缠、图 RAG 的查询无关固定粒度、迭代检索缺乏证据支持检验，直接引出 Hi-Q 的三个设计动机，是理解论文问题定义的起点。