A-RAG:通过层级检索接口扩展智能体检索增强生成 A-RAG: Scaling Agentic Retrieval-Augmented Generation via Hierarchical Retrieval Interfaces
层级检索接口赋能LLM自主决策,实现Agentic RAG范式突破
前置知识
检索增强生成(RAG)
RAG是一种将外部知识库与大语言模型结合的技术范式。其核心思想是:当模型需要回答问题时,先从预构建的文档库中检索相关信息片段,再将这些片段作为上下文输入模型,辅助其生成更准确的答案。传统RAG系统通常采用单次检索策略,即一次性检索固定数量的文档片段拼接到输入中。这种方法的优势在于能让模型访问训练数据之外的最新知识,但其检索策略是静态的,无法根据问题复杂度动态调整。
RAG是本文的核心研究对象,A-RAG正是针对传统RAG系统的局限性提出的改进方案,理解传统RAG的工作机制是理解本文创新的前提。
智能体(Agent)范式
LLM智能体是指赋予大语言模型自主规划、决策和使用工具的能力。与传统的单轮问答不同,智能体可以根据任务需求动态选择工具、调整策略、迭代执行直到获得满意结果。智能体的核心能力包括:自主策略选择(根据任务特点选择不同的工具和方法)、迭代执行(通过多轮交互逐步逼近目标)、交错式工具调用(在推理过程中灵活插入工具使用)。这一范式在编程助手、深度研究等领域已取得显著成功。
A-RAG的核心创新就是将RAG系统转变为智能体框架,让模型能够自主决定如何检索信息,理解智能体范式是理解本文关键贡献的基础。
多跳问答(Multi-hop QA)
多跳问答要求模型通过多个推理步骤和多次信息检索才能回答一个复杂问题。例如回答'发明了iPhone的公司的CEO毕业于哪所大学?'需要先识别苹果公司,再查找其CEO蒂姆·库克,最后确认其毕业院校。这类任务的难点在于:需要跨文档整合信息、进行实体链接和关系推理、在推理过程中动态确定需要检索的新信息。常用的评估数据集包括HotpotQA、2WikiMultiHopQA和MuSiQue。
本文实验主要在多跳问答数据集上进行,这类任务特别适合展示A-RAG层级检索接口的优势,因为模型需要在推理过程中灵活调整检索策略。
测试时扩展(Test-Time Scaling)
测试时扩展是指在模型推理阶段(而非训练阶段)通过增加计算资源来提升模型性能。常见方式包括:增加推理步骤数(允许模型进行更多轮次的思考和工具调用)、提升推理努力程度(让模型投入更多计算进行深度思考)、延长上下文窗口(允许模型处理更长的输入)。测试时扩展的核心价值在于:它可以在不重新训练模型的情况下,通过更智能地分配计算资源来获得更好的结果。
本文系统性地研究了A-RAG框架的测试时扩展行为,发现其性能可以随着计算资源的增加而稳定提升,这是该框架的重要优势之一。
层级索引(Hierarchical Index)
层级索引是一种将文档信息组织成多个粒度层次的索引结构。在A-RAG中,层级索引包含三个层次:关键词级别(通过精确文本匹配定位特定实体和术语)、句子级别(通过预训练句子编码器生成的稠密向量实现语义匹配)、块级别(存储完整的文本块内容供深度阅读)。这种多粒度设计的直觉是:信息在语料库中天然以不同粒度存在,从细粒度的关键词信号到粗粒度的完整段落,不同粒度的信息适合不同类型的问题。
层级索引是A-RAG的技术基础,它使得模型能够根据任务需求在不同粒度间灵活切换,实现渐进式信息获取。
研究动机
现有RAG系统面临一个根本性问题:它们无法充分利用前沿大语言模型日益增强的推理和工具使用能力。具体而言,当前RAG方法主要依赖两种范式。第一种是图RAG范式,以GraphRAG、RAPTOR、LightRAG、HippoRAG2等为代表,它们通过构建知识图谱或层级树结构来增强检索,但检索算法是预先设计好的,模型无法参与检索决策。以GraphRAG为例,它在MuSiQue数据集上使用GPT-4o-mini仅获得26.4%的LLM准确率,甚至不如简单的Naive RAG(38.6%)。第二种是工作流RAG范式,如FLARE、IRCoT、RA-ISF、MA-RAG等,它们预定义固定的检索工作流让模型逐步执行。以FaithfulRAG为例,它在MuSiQue上仅获得28.8%的准确率,同样低于简单的Naive RAG。这两种范式的共同缺陷是:模型无法根据任务特点自主调整检索策略,无法在证据不足时主动继续检索,也无法自主决定何时已有足够信息来回答问题。这意味着随着模型能力的提升(从GPT-4o-mini到GPT-5-mini),这些静态方法无法充分利用更强模型的潜力。
本文的目标是本文的目标是提出一种真正智能体化的RAG框架,让大语言模型能够自主参与检索决策过程。具体而言,作者希望实现三个目标:第一,设计一套层级化的检索接口,使模型能够访问不同粒度的信息(关键词、句子、完整文本块);第二,证明当模型拥有自主决策权时,能够自发地针对不同任务采用不同的检索策略,无需人工预定义工作流;第三,系统性地研究该框架的测试时扩展行为,验证其性能可以随着模型能力提升和计算资源增加而稳定增长。最终,作者希望通过这种设计范式的转变,为RAG领域的未来研究指明一个新方向:与其设计更复杂的检索算法,不如设计更友好的智能体接口。
与已有工作不同的是,本文的独特切入角度在于识别出了一个根本性的范式转变:从传统的静态LLM流水线向动态智能体系统的转变。在编程助手(如Cursor)和深度研究助手(如OpenAI Deep Research)领域,这种转变已经带来了生产力的飞跃,但RAG领域尚未跟上这一趋势。作者提出的关键洞察是:信息在语料库中天然以多个粒度层次组织,从细粒度的关键词信号到粗粒度的段落表示。因此,与其设计复杂的固定检索算法,不如直接将这些不同粒度的检索接口暴露给模型,让模型自己决定如何使用。这种设计哲学的转变——从算法驱动到接口驱动——是本文最核心的创新。作者通过一个极简的实验验证了这一洞察:即使只给模型一个简单的嵌入检索工具(A-RAG Naive),它在多个数据集上已经超越了所有现有的图RAG和工作流RAG方法。
核心方法
A-RAG的方法设计遵循一个清晰的直觉:既然信息在语料库中天然以不同粒度存在,那么我们应该为模型提供相应粒度的检索工具,让模型自己决定如何使用。整个框架包含三个核心组件。首先是层级索引构建,这是一个轻量级的离线过程,只需两个阶段:将语料库分割成约1000个token的文本块(确保边界与句子边界对齐以保持语义连贯性),然后对每个块中的句子使用预训练句子编码器(Qwen3-Embedding-0.6B)生成稠密向量表示。这种索引方式相比图RAG方法(需要构建知识图谱和实体关系图)要轻量得多。其次是三个层级检索工具:keyword_search用于精确的词汇匹配,semantic_search用于语义相似度检索,chunk_read用于完整文本块阅读。最后是一个简单但有效的智能体循环,采用ReAct框架,让模型在推理和工具调用之间交替进行,同时维护一个上下文追踪器来避免重复检索。
A-RAG的核心创新在于将检索接口设计为层级化和智能体友好的形式,这与已有方法有本质区别。传统的图RAG方法(如GraphRAG、RAPTOR)通过构建复杂的离线结构(知识图谱、层级树)来增强检索,但这些结构是静态的,模型无法参与检索决策。传统的工作流RAG方法(如FLARE、IRCoT)虽然引入了迭代检索,但工作流是预先定义的,模型只能按部就班地执行。A-RAG的根本区别在于:它不预定义任何检索算法或工作流,而是提供一套多粒度的检索工具,让模型根据当前任务状态自主决定使用哪个工具、何时使用、以及如何组合使用。这种设计使得相同的框架可以自发地针对不同任务采用不同的策略:对于需要精确实体匹配的问题,模型倾向于使用keyword_search;对于需要语义理解的问题,模型倾向于使用semantic_search;对于需要深入理解上下文的场景,模型会使用chunk_read。这种自适应能力是预定义工作流无法实现的。
方法步骤详情
A-RAG的方法分为离线索引和在线检索两个阶段。离线索引阶段:第一步,将语料库分割成约1000 token的文本块 $c_i$,确保块边界与句子边界对齐;第二步,对每个块 $c_i$ 进行句子分割,得到句子集合 $\{s_{i,1}, s_{i,2}, \ldots, s_{i,n_i}\}$;第三步,使用预训练句子编码器 $f_{\text{emb}}$ 对每个句子生成稠密向量 $v_{i,j} = f_{\text{emb}}(s_{i,j})$。在线检索阶段采用ReAct智能体循环:在每一步迭代中,模型首先进行推理,然后选择调用一个检索工具。工具选择包括三种:keyword_search接收关键词列表 $K = \{k_1, k_2, \ldots, k_m\}$ 和返回数量 $k$,通过公式 $\text{Score}_{\text{kw}}(c_i, K) = \sum_{k \in K} \text{count}(k, T_i) \cdot |k|$ 计算每个块的相关性得分,其中 $\text{count}(k, T_i)$ 是关键词在块文本中的出现次数,$|k|$ 是关键词的字符长度(越长的关键词权重越高,因为它们通常更具特异性),然后返回top-k块的ID及其包含关键词的句子片段;semantic_search接收自然语言查询 $q$,编码为向量 $v_q = f_{\text{emb}}(q)$,通过余弦相似度 $\text{Score}_{\text{sem}}(s_{i,j}, q) = \frac{v_{i,j}^T v_q}{\|v_{i,j}\| \|v_q\|}$ 计算每个句子的匹配得分,按最高分句子聚合到块级别,返回top-k块ID及匹配的句子;chunk_read接收块ID列表,返回这些块的完整内容,也可以读取相邻块以获取更多上下文。整个过程中,上下文追踪器维护已读块集合 $C_{\text{read}}$,当模型尝试读取已访问的块时,返回该块已被读取过的通知而不消耗额外token。
技术新颖性
A-RAG的技术新颖性体现在多个层面。首先是设计哲学的创新:从算法驱动转向接口驱动。传统RAG研究的核心问题是如何设计更好的检索算法(知识图谱构建、查询改写、重排序等),而A-RAG将问题重新定义为如何设计更好的智能体接口。这种转变的深远意义在于,随着模型能力的提升,智能体接口可以自动利用这些能力,而固定的算法则无法做到。其次是层级检索接口的设计创新:A-RAG是首个将关键词级、句子级、块级三种粒度的检索接口统一暴露给智能体的框架。关键词搜索通过运行时精确文本匹配实现,避免了构建倒排索引或知识图谱的离线开销;句子级稠密检索实现了语义匹配;块级阅读支持深度上下文理解。第三是上下文追踪器的设计创新:通过维护 $C_{\text{read}}$ 集合来避免重复检索,这不仅节省了计算资源,还鼓励模型探索语料库的不同部分。最后,本文对A-RAG的测试时扩展行为进行了系统性研究,发现增加最大步数从5到20可以使GPT-5-mini的准确率提升约8%,增加推理努力程度从minimal到high可以使GPT-5-mini和GPT-5的准确率提升约25%,这种可扩展性是静态RAG方法不具备的特性。
实验结果
本文在四个广泛使用的多跳QA数据集上进行了全面实验,使用GPT-4o-mini和GPT-5-mini作为骨干LLM,得出了三个核心发现。第一,简单基线依然表现强劲。在统一评估设置下(GPT-5-mini作为评判、Qwen3-Embedding用于稠密检索),Naive RAG在GPT-4o-mini骨干下在HotpotQA上达到74.5% LLM-Acc,在2Wiki上达到42.6%,而现有图RAG和工作流RAG方法无法在所有数据集上一致超越这些简单基线。第二,A-RAG Naive(仅配备单一嵌入检索工具)已经建立了新的强基线。例如,A-RAG Naive在GPT-5-mini骨干下,HotpotQA达到90.8% LLM-Acc(对比Naive RAG的81.2%),MuSiQue达到66.2%(对比Naive RAG的52.8%),2Wiki达到70.6%(对比Naive RAG的50.2%),全面超越所有现有方法。第三,A-RAG Full通过层级检索接口进一步提升性能。在GPT-5-mini骨干下,A-RAG Full在所有基准测试上均取得最优结果:MuSiQue 74.1%(对比最强基线LinearRAG的62.4%)、HotpotQA 94.5%(对比LinearRAG的86.2%)、2Wiki 89.7%(对比LinearRAG的87.2%)、Med. 93.1%(对比A-RAG Naive的92.7%)、Novel 85.3%(对比A-RAG Naive的80.4%)。消融实验表明,去除语义搜索会导致最大性能下降(MuSiQue从74.1%降至69.4%),证明多粒度信息对多跳检索任务至关重要。测试时扩展分析显示,增加最大步数从5到20,GPT-5-mini提升约8%(而GPT-4o-mini仅提升约4%),表明更强的推理模型更适合长程探索。上下文效率分析发现,A-RAG Full在MuSiQue上仅检索5,663个token就达到74.1%准确率,而A-RAG Naive检索56,360个token仅达66.2%,证明层级接口设计的关键作用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MuSiQue多跳问答 | LLM-Acc | A-RAG Full: 74.1% (GPT-5-mini), 46.1% (GPT-4o-mini) | 最强基线 LinearRAG: 62.4% (GPT-5-mini), HippoRAG2: 40.6% (GPT-4o-mini) | GPT-5-mini: +11.7%, GPT-4o-mini: +5.5% |
| HotpotQA问答 | LLM-Acc | A-RAG Full: 94.5% (GPT-5-mini), 77.1% (GPT-4o-mini) | 最强基线 LinearRAG: 86.2% (GPT-5-mini), HippoRAG2: 80.7% (GPT-4o-mini) | GPT-5-mini: +8.3%, GPT-4o-mini: -3.6%(但A-RAG Naive达到76.6%) |
| 2WikiMultiHopQA问答 | LLM-Acc | A-RAG Full: 89.7% (GPT-5-mini), 60.2% (GPT-4o-mini) | 最强基线 LinearRAG: 87.2% (GPT-5-mini), HippoRAG2: 64.7% (GPT-4o-mini) | GPT-5-mini: +2.5%, GPT-4o-mini: -4.5%(但A-RAG Naive达到52.3%) |
| GraphRAG-Bench (Med.) | LLM-Acc | A-RAG Full: 93.1% (GPT-5-mini), 79.4% (GPT-4o-mini) | 最强基线 A-RAG Naive: 92.7% (GPT-5-mini), 79.0% (GPT-4o-mini) | GPT-5-mini: +0.4%, GPT-4o-mini: +0.4% |
| GraphRAG-Bench (Novel) | LLM-Acc | A-RAG Full: 85.3% (GPT-5-mini), 72.7% (GPT-4o-mini) | 最强基线 GraphRAG: 77.1% (GPT-5-mini), HippoRAG2: 70.1% (GPT-4o-mini) | GPT-5-mini: +8.2%, GPT-4o-mini: +2.6% |
局限与改进
作者在论文中坦诚地指出了几个主要局限性。首先,本文主要旨在展示智能体RAG作为范式转变的潜力,以及层级接口作为扩展方向的前景,但并未穷尽所有可能的工具设计,也未系统比较不同工具子集对智能体行为的影响。全面的工具配置消融实验可以提供更深入的见解,这留待未来工作。其次,由于计算资源限制,作者未在更大更强的模型(如GPT-5和Gemini-3)上验证该框架。考虑到A-RAG专门为具有强工具使用能力的推理模型设计,预期在这些前沿模型上性能提升会更显著,但实证验证仍有待进行。第三,虽然作者在多跳QA基准上展示了强结果,但A-RAG在其他知识密集型任务(如事实验证、对话系统、长文本生成)上的泛化能力尚待进一步研究。此外,从本文的分析中还可以发现一些未被充分讨论的问题:A-RAG的智能体循环故意采用了最简单的ReAct框架,避免了并行工具调用等复杂设计,这意味着在实际部署中可能需要更复杂的编排机制来处理复杂场景;错误分析显示实体混淆是最常见的失败模式,这表明即使有更好的检索接口,模型的推理能力仍然是瓶颈。
独立分析的弱点
基于对论文的深入分析,可以识别出几个值得改进的方面。第一,工具调用的串行限制:当前A-RAG刻意采用串行工具调用以简化分析,但在实际应用中,并行工具调用可以显著提高效率,特别是在需要同时进行关键词搜索和语义搜索的场景下。改进方向是设计支持并行调用的智能体循环,并研究并行策略对性能和效率的影响。第二,关键词搜索的朴素实现:当前的关键词搜索在查询时执行精确文本匹配,虽然避免了离线索引开销,但对于大规模语料库可能效率较低。改进方向可以是引入轻量级的倒排索引或使用近似匹配策略来平衡效率和覆盖率。第三,缺乏自适应停止机制:当前框架依赖最大步数限制来终止检索,模型无法主动判断何时已收集足够信息。可以设计一个基于置信度的自适应停止策略,让模型在确信已有足够证据时主动停止检索。第四,实体混淆问题:错误分析显示实体混淆是最常见的失败模式(占推理链错误的主要部分),这表明检索接口虽然改善了信息获取,但并未解决模型的推理瓶颈。可以考虑引入实体消歧工具或推理链验证机制。第五,单一嵌入模型限制:所有方法使用Qwen3-Embedding-0.6B进行稠密检索,不同嵌入模型可能对不同任务有不同表现,可以研究嵌入模型选择对A-RAG性能的影响。
未来方向
作者和本文成果共同指出了几个有前景的未来研究方向。首先,作者明确指出未来研究应聚焦于设计更友好的智能体接口,而非更复杂的检索算法。这意味着可以探索更多类型的检索工具,例如基于知识图谱的结构化查询、跨文档关系推理工具、或时间线构建工具。其次,作者提出应探索语言模型与外部知识源之间的新交互模式。例如,可以将A-RAG扩展到支持多模态检索(图像、表格、代码),或支持与结构化数据库的交互。第三,测试时扩展的深入研究:本文发现增加推理努力程度可以带来约25%的性能提升,未来可以研究更细粒度的扩展策略,例如动态分配不同推理步骤的计算预算。第四,将A-RAG应用于更广泛的任务:除了多跳QA,还可以在事实验证(需要检索证据进行验证)、对话系统(需要持续的信息获取和整合)、长文本生成(需要大规模知识整合)等场景中验证A-RAG的有效性。第五,与其他智能体能力的融合:可以将A-RAG与代码执行、网络浏览等工具集成,构建更全面的知识密集型智能体。第六,基于A-RAG的训练方法:虽然本文专注于训练无关的方法,但可以利用A-RAG框架收集的智能体轨迹来微调较小的模型,使其学会更有效的检索策略。
复现评估
本文在可复现性方面做出了较好的承诺。代码和评估套件已在GitHub公开(https://github.com/Ayanami0730/arag),这大大降低了复现难度。数据集方面,作者使用了四个广泛使用的公开多跳QA数据集(HotpotQA、2WikiMultiHopQA、MuSiQue、GraphRAG-Bench),并且明确说明遵循LinearRAG的实验设置,使用相同的语料库和问题集,确保了公平比较。在实现细节上,作者提供了详细的配置和超参数说明(在附录B中),包括嵌入模型选择(Qwen3-Embedding-0.6B)、top-k参数(k=5)、文本块大小(约1000 token)等。评估指标也采用了标准的LLM评估准确率和包含匹配准确率,评估模型使用GPT-5-mini。然而,复现的潜在挑战包括:需要访问GPT-4o-mini和GPT-5-mini的API(这些是商业模型,有访问成本);智能体循环的实现细节(如提示词模板)可能影响结果;以及计算资源需求,特别是在大规模语料库上运行多轮智能体检索。总体而言,考虑到代码公开、数据公开、设置标准化,该工作的复现难度属于中等偏低水平。
论文图表
该图展示了两种RAG范式的对比以及性能结果。左侧对比了Naive RAG(单次检索拼接)和Naive Agentic RAG(智能体自主检索)的工作流程差异,右侧展示了在多个数据集上的性能对比结果,直观证明了即使是最简单的智能体RAG也能持续超越传统方法。
这张图是全文的核心动机图,它直观地展示了智能体RAG范式相对于传统RAG的优势,为后续提出A-RAG提供了实验依据。
该图展示了A-RAG在MuSiQue数据集上前100个错误案例的失败模式分析。上部分展示了主要错误类别分布,下部分展示了推理链错误的细分。结果显示推理链错误是主要失败来源,其中实体混淆是最常见的错误类型,其次是错误的检索策略和问题理解错误。
这张图帮助读者理解A-RAG的局限性和主要失败原因,为未来改进提供了方向。