BEAR：基于预算的多文档推理证据分配框架 FABLE: Forest-Based Adaptive Bi-Path LLM-Enhanced Retrieval for Multi-Document Reasoning
通过层次化语义索引和双路径检索，在固定证据预算下实现高效多文档推理
前置知识
检索增强生成（RAG）
RAG是一种将外部知识库与大语言模型结合的技术范式。传统RAG系统通过检索器从文档集合中获取相关片段，然后将这些片段作为上下文传递给生成器来产生答案。然而，简单的平面检索（flat retrieval）往往返回大量局部相关但缺乏组织的文本块，导致跨文档综合推理困难。BEAR正是在RAG基础上引入了更精细的证据组织和分配机制。
理解RAG是理解BEAR的前提，因为BEAR本质上是对传统RAG检索策略的改进，通过结构化的证据分配来提升多文档推理效果。
层次化语义索引
层次化语义索引是一种将文档组织成树状结构的技术。每个文档被分割成语义连贯的块（chunks），然后通过LLM构建层次化的树结构，其中内部节点包含主题级别的摘要（如标题和概要），叶节点保留原始文本内容。这种结构支持多粒度检索：高层摘要用于快速定位相关区域，叶节点提供详细证据。
BEAR的核心创新就是利用这种层次化结构作为预算感知的证据分配基础，实现从粗到细的渐进式证据访问。
证据预算（Evidence Budget）
证据预算指的是在查询时能够暴露给生成模型的证据上下文的token数量限制。在实际应用中，由于计算资源、延迟和成本的约束，系统不能无限制地检索所有相关文档。BEAR将这种限制形式化为一个固定的token预算Bmax，并在此约束下优化证据的选择和组织。
证据预算的概念是BEAR框架的核心约束条件，理解这一点才能明白为什么需要精心设计的证据分配策略，而不是简单地检索所有可能相关的文本。
双路径检索（Bi-path Retrieval）
BEAR采用两种互补的检索路径：探索路径（exploration path）通过LLM对层次化摘要进行推理来识别有前景的语义区域；恢复路径（recovery path）使用TreeExpansion机制，结合直接查询-节点相似度、祖先继承和子节点聚合信号来恢复局部证据。这两种路径分别擅长不同类型的查询：探索路径更适合综合类问题，恢复路径更适合事实性和时序类问题。
双路径设计是BEAR实现证据互补覆盖的关键机制，实验表明两者结合比单独使用任一路径平均提升6.01个百分点。
研究动机
多文档推理面临的核心挑战不仅仅是模型能读取多少文本，更关键的是如何在有限的查询时证据预算下分配证据。现有方法存在明显问题：长上下文LLM虽然可以处理大量文本，但研究表明更长的上下文并不能可靠地带来更强的知识密集型推理能力，反而会增加计算成本（Liu et al., 2024; Kamradt, 2023）。平面检索（flat retrieval）往往返回大量局部相关但组织松散的文本块，这些块虽然与查询局部相似，但在跨文档综合方面表现较弱。例如，在金融比较查询场景中，需要同时获取粗粒度的证据分配和细粒度的证据恢复，但平面检索容易过度检索弱相关的块，而朴素的长上下文推理则在生成过程中隐式地丢失了证据优先级信息。
本文的目标是本文的具体目标是提出一个预算感知的证据分配框架，在固定的查询时证据预算约束下，通过结构化的层次化语义索引和互补的探索-恢复路径，实现更高效的多文档推理。具体而言，BEAR希望在使用4K-8K检索token的情况下，达到与512K全上下文输入相当的推理质量，同时显著降低在线服务的延迟和token消耗。这一目标的核心动机在于认识到现实应用中的多文档推理必须在有限的推理时资源约束下运行，包括检索证据的限制、生成器上下文的限制和查询时计算的限制。BEAR旨在通过将证据分配问题形式化为预算约束下的优化问题，为系统设计者提供一个可控的权衡点：在给定的证据预算下，如何最大化推理质量。论文提出了两种运行模式BEAR(docs)和BEAR(nodes)来支持不同的预算场景，前者在粗粒度证据分配已经足够时使用，后者在需要更细粒度的证据细化时调用。通过这种设计，BEAR希望证明一个关键洞见：仅仅增加可用上下文是不够的，证据暴露本身必须被选择性地组织。
与已有工作不同的是，与现有工作的本质区别在于BEAR的独特切入角度：不是简单地构建层次化索引，而是研究如何在固定证据预算约束下使用这种层次结构进行查询时访问。相对于平面检索，BEAR保留了粗粒度的语义抽象和多粒度访问能力；相对于朴素的长上下文推理，它使证据组织变得显式化。BEAR填补了静态结构化检索和完全反应式检索代理之间的空白：它离线组织文档语义为层次化森林，然后在线通过预算感知的证据分配和选择性细化来导航该结构。
核心方法
BEAR的整体思路可以这样理解：想象你有一个庞大的图书馆，你需要回答一个复杂的问题，但你只能带有限数量的书页离开图书馆。传统方法是随机抽取相关书页，或者试图把整本书都带走。BEAR的做法是先建立一个图书馆的目录系统（层次化语义索引），然后通过两种策略来高效利用你的有限预算：首先通过浏览目录概要找到最相关的几个书架（探索路径），然后在这些书架内通过结构化的搜索机制找到最精确的书页（恢复路径）。技术路线上，BEAR使用语义森林（每个文档一棵树）F = {T1, . . . , TN}作为预算感知查询时访问的基础。离线阶段，LLM将每个文档分割成语义连贯的块，构建层次化树结构，并为高层检索生成包含摘要的内部节点。在线阶段，BEAR首先通过互补的探索-恢复阶段分配粗粒度证据候选项，然后在粗结果超出证据-上下文预算时可选地在节点级别进行细化。
BEAR的核心创新在于将层次化语义索引从单纯的索引结构转变为预算感知的证据分配机制。与已有方法的本质区别体现在三个方面：第一，层次结构不仅用于组织文档，更作为在预算约束下分配证据的机制——粗粒度的文档级证据在足够时被保留，节点级细化仅在需要更细粒度聚合时才被调用。第二，节点级阶段结合了探索路径和恢复路径，而不是单一的遍历机制——一个路径使用LLM对高层摘要进行推理，另一个使用TreeExpansion进行局部证据恢复。第三，BEAR支持两种运行模式：BEAR(docs)用于预算高效的文档级融合，BEAR(nodes)在粗证据超出预算或需要更细的证据区分时使用。
方法步骤详情
BEAR的方法分为离线索引和在线检索两个阶段。离线阶段：（1）对每个文档di进行LLM引导的语义分割，得到块序列Ci = LLMsegment(di) = {c1, c2, . . . , cmi}，每个块与语义连贯单元对齐；（2）构建语义树Ti = LLMstructure(Ci | di)，内部节点提供主题级抽象用于高层检索，叶节点保留原始块内容；（3）为非叶节点和叶节点分别构建嵌入：非叶节点使用toc_path(v)⊕summary(v)的嵌入，叶节点使用content(c)的嵌入。在线阶段：（1）粗粒度证据访问：探索路径将非叶摘要暴露给LLM进行推理，恢复路径对索引节点进行稠密检索，两者并集形成去重候选项Dfusion；（2）预算感知的粗到细路由：检查融合文档级证据是否在预算Bmax内，如果是则直接返回，否则进入节点级细化；（3）细粒度证据细化：探索路径要求LLM在层次化摘要内导航识别有前景的节点，恢复路径应用TreeExpansion，对节点v的评分为S(v) = αSsim(v) + βSinh(v) + γSchild(v)，默认α=β=γ=1/3。
技术新颖性
BEAR的技术新颖性主要体现在以下几个方面：第一，将多文档推理形式化为跨语义粒度的预算证据分配问题，这是一个新的问题框架。第二，提出粗到细的证据分配框架，其中层次结构作为预算感知的证据访问机制，而不仅仅是索引结构——这是对层次化RAG的新视角。第三，引入互补的探索-恢复路径机制，实验表明这两种路径具有非冗余性：80.7%的支持证据被两者共同恢复，10.3%仅被TreeExpansion恢复，6.1%仅被LLM引导路径恢复。第四，TreeExpansion评分函数结合了直接相似度、祖先继承和子节点聚合三种信号，能够在层次化结构中进行结构感知的证据恢复。第五，渐进式构建策略支持长文档的层次化构建，通过分区构建部分树再合并，超越单个LLM上下文窗口的限制。
实验结果
BEAR在多个基准测试中表现出色，特别是在合成知识基准DragonBall上。在DragonBall上，BEAR(docs)达到85.55% Recall和91.86% Completeness，同时将Hallucination和Irrelevance分别控制在5.64%和2.40%，显著优于所有匹配的检索基线。在相同Qwen3-32B生成器下，直接传递完整文档集会大幅降低答案质量（Completeness从91.86%降至66.86%，Hallucination从5.64%升至25.36%），表明收益来自证据组织和选择而非生成器本身。在真实世界多跳推理基准上，BEAR(nodes)在HotpotQA上与HippoRAG2表现接近（EM 33.50% vs 33.83%），BEAR(docs)在2Wiki上给出最强的检索结果（EM 34.63%, F1 48.02%）。在下游代理基准BrowseComp-plus上，仅替换检索器为BEAR就将准确率从44.46%提升至66.60%，召回率从62.32%提升至76.60%，同时减少搜索调用次数。成本分析显示，BEAR在线服务方面提供有利的质量-延迟权衡：总延迟23.52秒，低于HippoRAG2的32.57秒和LongRefiner的38.06秒。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DragonBall合成知识 | Recall | 85.55% | HippoRAG2: 68.80%, BGE-M3: 58.17% | BEAR(docs)比最强基线HippoRAG2提升16.75个百分点 |
| DragonBall合成知识 | Completeness | 91.86% | HippoRAG2: 73.37%, RAPTOR: 59.78% | BEAR(docs)比最强基线HippoRAG2提升18.49个百分点 |
| DragonBall合成知识 | Hallucination | 5.64% | HippoRAG2: 19.55%, RAPTOR: 26.50% | BEAR(docs)将幻觉率降低13.91个百分点 |
| HotpotQA多跳推理 | Exact Match | 33.50% | HippoRAG2: 33.83%, RAPTOR: 29.33% | BEAR(nodes)与最强基线HippoRAG2持平 |
| 2Wiki多跳推理 | Exact Match | 34.63% | HippoRAG2: 29.67%, RAPTOR: 23.50% | BEAR(docs)比最强基线HippoRAG2提升4.96个百分点 |
| BrowseComp-plus代理基准 | Accuracy | 66.60% | Tongyi-DeepResearch + Qwen3-Embedding: 44.46% | BEAR(nodes)比原始检索器提升22.14个百分点 |
局限与改进
BEAR的局限性主要体现在以下几个方面：首先，该方法在文档集合具有足够语义结构时效果最好，对于高度嘈杂、结构松散或快速变化的语料库，层次结构作为分配基础可能变得不太可靠，选择性证据分配的收益可能减弱。其次，BEAR相对于标准平面RAG管道产生了非平凡的离线索引成本和额外的系统复杂性，因为它需要语义分割、层次化树构建和多粒度索引。在动态设置中，实际部署可能需要子树重建、文档漂移下的索引维护以及跨抽象级别保持摘要一致性。第三，BEAR改进了证据选择和组织，但本身并不能消除生成器的下游推理错误。在作者的失败案例分析中，27个两个路径都未能检索到支持证据的案例中，93%发生在深度3的叶节点，93%来自医疗领域，LLM引导路径的主要失败模式是结论节点选择偏差——LLM倾向于选择语义最接近的摘要节点，但其子树不覆盖答案所需的兄弟分支。
独立分析的弱点
基于独立分析，BEAR存在几个值得改进的弱点。第一，TreeExpansion在实体稀疏的同质语料库中可能失败，因为通用语义嵌入无法将正确文档排在足够高的位置，特别是在医疗领域等专业性较强的场景中，改进方向是引入领域自适应的嵌入模型或实体感知的检索机制。第二，在固定证据预算下的路径截断问题：当TreeExpansion命中正确文档的相关节点时，扩展可能局限于一个子树或兄弟区域，4K token证据预算不足以覆盖其他证据承载分支中的深层叶节点，改进方向是设计更智能的预算分配策略，根据查询复杂度动态调整预算分配。第三，LLM引导路径存在结论节点选择偏差，模型往往选择语义最接近的摘要节点而非证据承载节点，改进方向是引入对比学习或强化学习来训练选择器，使其更关注证据覆盖而非语义相似度。第四，离线索引构建依赖LLM进行语义分割和树构建，对于大规模文档集合可能产生显著成本，改进方向是探索更轻量级的层次化构建方法。
未来方向
作者提出的未来研究方向包括：维护动态设置下的层次结构，当文档更新时进行子树重建和索引维护；在语义结构较弱的语料库上改进方法的有效性。基于BEAR的成果，可以延伸的研究方向包括：第一，将BEAR的预算感知证据分配思想扩展到多模态RAG场景，处理包含图像、表格等非文本证据的多文档推理；第二，探索自适应预算分配策略，根据查询难度和文档特征动态调整证据预算在探索路径和恢复路径之间的分配；第三，将BEAR与检索代理（retrieval agent）结合，实现迭代式的证据获取和推理，而不仅仅是单次检索；第四，研究跨文档实体链接和关系建模，弥补BEAR在HotpotQA上相对于HippoRAG2的差距，因为后者通过知识图谱显式链接实体。
复现评估
在复现评估方面，BEAR具有较好的可复现性。作者使用公开基准和公开实现：BM25和BGE-M3基于FlashRAG，RAPTOR、LongRefiner和HippoRAG2使用其官方仓库。离线层次构建和在线LLM引导选择使用DeepSeek-V3.2通过官方API访问，最终生成器固定为Qwen3-32B。论文提供了详细的默认设置表（Table 7）和核心离线提示模板（Procedure Boxes 6-9）。然而，完全复现仍有一些挑战：DeepSeek-V3.2通过API访问可能涉及成本和稳定性问题；语义分割和树构建需要大量LLM调用（BEAR的离线输出token为2.65M）；不同数据集的检索管道配置略有差异。总体而言，在有API访问权限和足够计算资源的情况下，按照论文提供的配置应该能够复现主要结果。
论文图表
该图展示了一个金融比较查询的示例，说明了为什么需要互补的探索和恢复路径。图中显示了一个需要跨文档比较的查询场景，左侧展示了平面检索的问题——过度检索弱相关的块，右侧展示了结构化系统如何通过粗粒度语义抽象进行全局分配，然后在需要时细化到局部证据。
这张图对理解论文很重要，因为它直观地展示了BEAR要解决的核心问题：在有限证据预算下，如何同时实现全局覆盖和局部精确性。它解释了为什么需要两种互补的检索路径。
该图展示了一个LLM引导节点选择中的语义捷径行为失败案例。查询要求诊断证据项目，但LLM直接选择了语义匹配的结论节点（'Diagnostic evidence'），而不是检索分布在多个兄弟分支中的证据承载节点。结果只覆盖了8个黄金支持节点中的1个。
这张图揭示了BEAR的一个重要局限性——LLM引导路径的结论节点选择偏差，帮助读者理解方法的失败模式和改进方向。
该图展示了用于语义分割的离线提示模板，包括分割规则：语义连贯性、文本保留、覆盖和顺序、长度控制（约100-300词）、结构感知。输出格式为JSON数组，每个块包含id和content两个键。
这个提示模板是BEAR可复现性的关键部分，展示了如何实现语义连贯的文档分割，而不是简单的固定长度分割。
该图展示了从块列表生成层次化树的离线提示模板。要求构建包含root、section、sub_section和叶节点的JSON树结构，每个块必须恰好出现一次，基于语义相似性和主题凝聚力进行分组。
这个提示模板展示了BEAR如何利用LLM构建层次化语义结构，是理解离线索引过程的关键。
该图展示了用于文档级LLM引导选择的查询时提示模板。LLM根据用户查询和文档的结构化树元信息（包括根级目录、摘要和一级子章节）来判断哪些文档语义相关。
这个提示模板展示了BEAR探索路径的工作机制，说明了LLM如何利用层次化摘要进行文档级证据选择。
该图展示了用于节点级LLM引导选择的查询时提示模板。LLM根据用户查询和节点的结构化元信息（包括文档id、标题和结构化节点信息）来判断哪些节点语义相关。
这个提示模板展示了BEAR在节点级细化阶段的探索路径工作方式。
该图提供了预算感知结构化检索过程的扩展流程：收集非叶节点暴露给LLM获取文档候选，从节点索引检索稠密候选，融合去重，检查预算，必要时进行节点级检索，合并选择的节点并应用预算控制。
这个流程图提供了BEAR在线检索阶段的详细步骤，帮助读者理解完整的预算感知检索过程。
该图展示了NodeFusion阶段的流程：移除冗余的祖先-后代重叠，将节点分区为LLM直接选择的和TreeExpansion引入的，按LLM优先级排序文档，在每个文档内按原始位置排序节点，转换为有序块序列。
这个流程图展示了BEAR如何合并来自两条路径的证据并进行结构感知的去重和排序。