迈向递归自进化的智能体文献检索 Towards Self-Evolving Agentic Literature Retrieval
PaSaMaster 通过递归自进化检索将复杂科研意图转化为可审计、可验证的论文排序列表。
前置知识
智能体 (Agent) 与 ReAct 工具调用
智能体是具备规划与工具调用能力的大语言模型系统，常采用 ReAct (Reasoning + Acting) 范式：模型在「思考—调用工具—观察结果」之间循环，外部工具如 Search、Visit 可以让模型访问网页、读取文档，而不是仅依赖参数记忆生成答案。本文评估生成式 LLM 基线时都允许它们调用这些工具，因此实验实际上是「工具增强的 LLM 智能体」对比。
PaSaMaster 本质上也是一个多智能体系统（Navigator 规划 + Librarian Swarm 执行），理解 ReAct 范式能帮助读者把握「为什么工具调用并不能根除幻觉」以及「为什么 PaSaMaster 仍需要额外的证据约束机制」。
信息检索评价指标 Recall@K / Precision@K / F1 / NDCG@K
Recall@K 衡量在前 K 个结果中召回的相关文献占比，Precision@K 衡量前 K 个结果中相关文献的比例，F1 是二者的调和平均。NDCG@K (Normalized Discounted Cumulative Gain) 则对排名质量进行加权：相关结果排得越靠前得分越高，常用于评估排序是否符合「重要文献优先」的预期。
本文报告的 Recall@20、Precision@20、F1@20、NDCG@20 是评测 PaSaMaster-Bench 上 244 个任务的核心数字，读者只有理解这四个指标分别看的是什么，才能正确比较 PaSaMaster (F1=23.00) 与 Google Scholar (F1=1.39)、GPT-5.2 (F1=16.69) 等系统之间的差异。
引用幻觉 (Citation Hallucination)
指大语言模型在生成参考文献时编造看似真实但实际不存在的论文，或者混淆作者、期刊、年份、链接等元数据的现象。学术场景下这种错误代价极高：错误的引用链会污染综述、影响下游假设。本文中具体定义为「返回的论文无法匹配到真实学术记录或元数据被证明错误」。
PaSaMaster 的第二大设计——基于已验证语料的排序而非生成——正是为了把幻觉率从生成式 LLM 的 5.65%~32.66% 降到 0%。理解幻觉的具体形式（标题错、作者错、日期错、链接错）才能领会这个 0% 是如何在工程上被「按结构」保证的。
检索增强生成 (RAG) 与定制化语料库
RAG (Retrieval-Augmented Generation) 指模型在生成答案前先从外部知识库中检索相关文档，以减少幻觉并提高时效性。定制化科学语料库则把论文元数据 (Dmeta)、摘要 (Dabs) 与正文切片 (Dchunk) 分层组织，让检索、过滤、证据定位能各自走最合适的索引。
PaSaMaster 在 1.6 亿 + 论文的三层语料 (D = {Dmeta, Dabs, Dchunk}) 上做证据块定位 (Eq. 7)，如果读者不了解 RAG 的基本结构，会很难看出该设计相比传统 RAG 的额外贡献——「按 checklist 召回证据、给每条证据打约束分」。
研究动机
科研文献检索需要在「理解复杂意图」与「保证来源真实」之间做权衡。Google Scholar、PubMed 等 Level 0 词法检索系统虽然 0 幻觉，但 F1@20 仅有 1.39~1.48，因为它们把「寻找多医院协作训练医学影像 AI 模型的联邦学习实证研究、发表于 Nature Medicine / Nature Communications / IEEE TMI、2023 年至 2025 年 10 月」这种多约束自然语言请求压缩成几个关键词，意图严重丢失。OpenScholar、Bohrium Science Navigator 等 Level 1 语义检索仍是被动查询—文档匹配，缺少对意图的主动澄清与分解。生成式 LLM (Level 2，如 GPT-5.2、Gemini-3.1-pro、DeepSeek-v3.2) 意图理解更强，但会编造论文：MiniMax-M2.7 幻觉率高达 32.66%，Kimi-K2.5 达 26.59%，即使允许调用 Search/Visit 工具仍无法根除。Google Scholar Labs、PaSa 等 Level 3 固定流水线智能体虽然把幻觉压到 0%，但用户意图在初始阶段被一次性固化，多约束请求常常只满足部分条件，F1 仅 18.87。
本文的目标是本文目标是构建一个能同时达成「复杂意图理解 + 来源真实 + 成本可控」的科研文献检索系统 PaSaMaster：给定一段多约束自然语言搜索意图，自动产出 Top-K 论文列表，每条都附带「相关性分数 + 约束级判断 + 证据片段 + 推理依据」，并且全程不编造不存在的论文。同时发布配套评测基准 PaSaMaster-Bench (244 个任务、38 个学科) 来客观衡量这一目标。
与已有工作不同的是，作者提出这是 Level 4「递归自进化智能体检索」范式，与现有四类的核心区别在于：检索过程本身会随证据累积而调整对查询的理解——前一轮排序出的论文会改变下一轮的检索策略和验证清单 (Eq. 5)，而不是按固定流水线一杆子走完。这一「用排序出的证据反过来改写自己的查询」视角是论文最独特的切入角度，再叠加「只对已验证论文打分、不让 LLM 生成文献」和「前沿 LLM 只做规划、廉价的轻量 Ranker 做打分」两个机制，从而同时解决意图、幻觉、成本三难。
核心方法
PaSaMaster 把科研文献检索建模为「递归自进化的意图—论文相关性排序」过程，而不是一次性查询—文档匹配。系统分三层：Navigator (认知规划层) 负责意图消歧、构造验证清单、生成搜索策略并在每轮检索后反思；Librarian Swarm (并行检索排序层) 由多个轻量 Librarian 智能体组成，负责多通道检索、证据核验、约束级打分和列表重排；底层是 1.6 亿+ 论文的三层定制语料 {Dmeta, Dabs, Dchunk} 和搜索/访问/阅读工具集。三者通过「策略—反馈」循环耦合：每一轮 Librarian 把带证据的排序结果喂回 Navigator，Navigator 用这些证据更新对查询的理解、修正下一轮策略和验证清单。直觉上，这模拟的是「研究者搜了一轮，看到结果，意识到漏掉某个子约束，再调整关键词重搜」的认知过程。
三大核心创新构成对已有方法的全方位差异。第一，「递归自进化检索」：把检索从单次匹配改写成动态过程，让排序出的证据回流到检索规划 (Eq. 5)，从而对初始查询的潜在偏差进行自我修正。第二，「幻觉无关的意图—论文相关性排序」：论文完全从已验证语料中检索，让 Ranker 给真实论文打相关性分，而不让 LLM 直接生成参考文献，从结构上消除引用幻觉。第三，「规划—检索分离的成本架构」：Navigator 调用前沿 LLM (如 GPT-5.2) 做意图理解，但 Librarian 调用经过多学科蒸馏训练的轻量 Scorer 做大规模打分 (Eq. 8, 9)，把每次查询成本从 $6.06 (GPT-5.2) 压到 $0.05。
方法步骤详情
形式化流程 (Eq. 1–4)：给定查询 q，Navigator 用策略 πNav 一次性输出检索策略 S 和查询专属验证清单 C = [c1, …, cm]；N 个并行 Librarian 智能体 {π(i)Lib} 依 S 在定制语料 D 和工具集 T 上执行 Retrieve 拿到初始候选集 Pinit；接着每个 Librarian 对 Pinit 跑 Verify，按 C 给每篇候选论文做约束级打分 (Eq. 7 的证据块定位 + Eq. 8 的约束平均分 + Eq. 9 的 ρ 校准融合)；最后 Rerank 做列表级重排得到 P = [p1, …, pk]。自进化步骤 (Eq. 5)：每轮检索后 Navigator 收到 P(t)scored 后调用 Reflect 算子生成 (S(t+1), C(t+1))，把新策略和新清单下发到下一轮 Librarian 群。Ranker 训练采用「多学科蒸馏」：先采样跨学科种子主题聚类，再用强教师 LLM 给「查询—候选论文—证据」三元组打约束级分数和自然语言解释，最后蒸馏到一个共享文本编码器的轻量 Scorer 上。检索侧还有三条互补通道 (Eq. 11)：语义直接检索、引用网络扩展、Web→仓库核验，分别覆盖高语义匹配、结构相关、网页外部线索三类来源。
技术新颖性
技术新颖性体现在三个层次。算法层面，把规划-检索-验证-重排四阶段用 Eq. 1–11 显式写成可执行的算子序列，并首次让 Reflect 算子 (Eq. 5) 把已评分证据作为下一轮输入；系统层面，1.6 亿论文的三层语料 {Dmeta, Dabs, Dchunk} 让粗筛 (Dabs) 与细证据 (Dchunk) 在不同阶段被精确调用，证据块定位用余弦相似度 (Eq. 7) 锚定到原文具体段落，使每条相关性判断都「可审计」；评测层面，PaSaMaster-Bench 首次在同一基准中同时满足「自然语言查询 + 多约束组合意图 + 跨学科 (38 个) + 真实开放网络搜索」四点要求 (Table 3)，弥补了 LitSearch、AutoResearch 等只覆盖其中一两项的既有基准。整体思路融合了认知规划 (Navigator)、多智能体协作 (Librarian Swarm)、模型蒸馏 (Ranker) 与 RAG (三层语料)，并通过「先验证再排序、规划与检索解耦」这一原则统一起来。
实验结果
Table 2 主结果：PaSaMaster 在 K=20 设定下取得 NDCG 39.52、Recall 33.24、Precision 23.46、F1 23.00，幻觉率 0%，单查询成本 $0.05，是唯一一个在所有质量指标上都领先且幻觉为 0 的系统。相比 Google Scholar，F1 从 1.39 提升到 23.00 (16.5×)，说明纯关键词检索在多约束意图下几乎失效。相比 OpenScholar (F1 7.92)、Bohrium Navigator (F1 12.26)，验证了「被动语义匹配」远不够。生成式 LLM 基线中 GLM-5 表现最强 (F1 18.18)，Google Scholar Labs 固定流水线智能体 (F1 18.87) 是另一个强基线，PaSaMaster 相对它们分别提升 26.5% 与 21.9%。相比 GPT-5.2 (F1 16.69, 成本 $6.06)，PaSaMaster 在 F1 上提升 37.8% 而成本仅约 1%。幻觉方面：DeepSeek-v3.2 12.94%、GLM-5 21.64%、Kimi-K2.5 26.59%、Gemini-3.1-pro 27.54%、MiniMax-M2.7 32.66%、GPT-5.2 5.65%，全部高于 PaSaMaster 的 0%。Fig. 2a 显示 38 个学科中 PaSaMaster 在 AI 与计算、工程与技术、医学与生命科学、基础科学、人文社科等所有学科组 F1 分布都上移。Fig. 2b 把幻觉按字段拆解：标题、作者、日期、链接四类错误都存在于 LLM 中。Fig. 2c 表明用 Qwen3-30B-A3B 蒸馏的 Trained Ranker 在 5 个学科组中 NDCG@20 / Recall@20 / Precision@20 几乎都正增长，Overall 三项分别 +2.8、+2.7、+1.5。Fig. 3a 用 t-SNE 显示同一查询在 Round 0→1→2 检索到的论文主题区域会从初始理解漂移到不同子主题；Fig. 3b 量化了动态：检索论文数 295.5→336.2、高分论文数 37.1→47.6、命中真值论文 8.1→9.3，全部随轮次稳步上升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PaSaMaster-Bench (244 个跨学科文献检索任务) | F1-score@20 | 23.00 | Google Scholar = 1.39 (16.5× 提升); GPT-5.2 = 16.69 (37.8% 提升); Google Scholar Labs = 18.87 (21.9% 提升) | 全面 SOTA，且在所有质量指标上同时领先 |
| PaSaMaster-Bench | NDCG@20 | 39.52 | Kimi-K2.5 = 37.80、GLM-5 = 35.89、DeepSeek-v3.2 = 35.82 | 比最强生成 LLM 基线高 +1.72 绝对点，说明排序质量也最好 |
| PaSaMaster-Bench | Recall@20 | 33.24 | Google Scholar Labs = 29.01、GLM-5 = 28.99、GPT-5.2 = 25.32 | 覆盖更多目标论文，验证自进化机制能扩展证据空间 |
| PaSaMaster-Bench | Source Hallucination Rate | 0% | MiniMax-M2.7 = 32.66%、Gemini-3.1-pro = 27.54%、Kimi-K2.5 = 26.59%、GLM-5 = 21.64%、DeepSeek-v3.2 = 12.94%、GPT-5.2 = 5.65% | 结构性保证 0 幻觉——只对从已验证语料 D 检索到的论文打分 |
| PaSaMaster-Bench | Cost per query (USD) | $0.05 | GPT-5.2 = $6.06、GLM-5 = $0.56、Gemini-3.1-pro = $0.38、DeepSeek-v3.2 = $0.28 | 约为 GPT-5.2 成本的 1/121，比最强 LLM 基线便宜一个数量级 |
| Ranker 训练前后 (38 学科综合) | NDCG@20 / Recall@20 / Precision@20 | Overall +2.8 / +2.7 / +1.5 | Qwen3-30B-A3B (未训练) 基线 | 5 个学科组中 4 个正增长，仅 Engineering & Technology 略降 (−1.2 / −1.4 / −1.3) |
局限与改进
作者在 Discussion 中坦承四点限制。第一，PaSaMaster-Bench 由领域专家人工构建，目标论文集 P* 可能受标注者学科背景与搜索视野影响——虽然采用了多通道检索扩大候选池并要求逐条勾选 checklist，仍难完全避免。第二，评测只考察 Top-20 排序质量，没有评估下游文献综述、假设生成、稿件写作等真实科研产出是否能从更好检索中受益。第三，PaSaMaster 把幻觉消除到结构性的 0%，但相关性评分仍会继承语料、模型、清单设计中的偏差；部署时应让证据、不确定性、失败模式可被研究者审计。第四，目前系统聚焦「找到目标论文」，尚未拓展到「重建学科发展史、识别新兴轨迹、生成研究候选方向」等高阶能力。作者自己的观察之外，读者可注意：训练 Ranker 的教师模型本身是大语言模型，其偏好仍可能传导给学生 Ranker；Eq. 7 的余弦相似度证据块定位依赖单一文本编码器，对长论文中跨章节的细粒度证据可能漏选；Reflect 算子 (Eq. 5) 的多轮调用意味着时间延迟比单轮检索更高，但论文没有给出每轮平均耗时。
独立分析的弱点
独立分析出四点可改进的弱点。(1) 评估不涵盖多模态证据：现在证据块只取文本 (Dchunk)，但很多论文的关键结论藏在图、表中，引入图表切片索引有望进一步提升打分准确度。(2) 验证清单 C 是查询开始时一次性生成，当用户意图在交互中漂移时 (例如对话式检索) 系统会僵化——可以把 Reflect 算子扩展为支持在线人机协同，让用户在每轮反馈时增删 checklist 项。(3) 训练 Ranker 的合成查询虽然覆盖 38 学科，但教师 LLM 的偏好会注入，建议同时引入人类专家的负反馈做 RLHF/DPO，把「专家在哪些位置不同意 LLM 排序」显式建模。(4) 38 学科中 Engineering & Technology 训练后三项指标略降 (−1.2/−1.4/−1.3)，可能是因为该领域论文结构差异大、描述术语多；针对该学科做专门微调或构造专属 checklist 模板可缓解。
未来方向
作者提出未来工作 (i) 把检索能力扩展到下游科研任务：文献综述、假设生成、稿件写作；(ii) 用 PaSaMaster 重建学科发展史、识别新兴研究轨迹、生成基于真实文献的候选方向。读者可进一步延伸的方向包括：(a) 把「递归自进化」机制推广到专利、临床指南、代码库等其他科研资源检索；(b) 在 Eq. 5 的 Reflect 算子中引入贝叶斯不确定性估计，让系统能告诉用户「我对自己的判断有 70% 把握」；(c) 用 PaSaMaster 的低查询成本 ($0.05) 做大规模可重现的「文献综述复现」评测，把 AI 综述与人类综述并排对比；(d) 把 Ranker 的训练数据合成管道开源，让社区贡献特定学科的种子主题，提升长尾学科覆盖。
复现评估
代码与数据可用性较好但尚未完全公开。论文给出的 GitHub 链接 https://github.com/sjtu-sai-agents/PaSaMaster 承诺开源系统代码。PaSaMaster-Bench 任务规约、评测协议与聚合性能已随论文提交供同行评审，公开版本将在论文发表时随持久仓库发布。底层 1.6 亿+ 论文的三层语料 (Dmeta/Dabs/Dchunk) 涉及版权，作者声明会释放「可再分发」的子集，完整版可能受限。算力方面，每个查询 $0.05 的成本主要来自 Navigator 调用一次前沿 LLM 与多轮 Ranker 推理，使用云端 API 即可在普通 GPU/CPU 上复现；Ranker 蒸馏阶段的教师标注则需要大量前沿 LLM 调用，门槛主要在 API 费用。复现难度整体为中等：架构、损失、Eq. 1–11 都已形式化描述，但 Ranker 训练数据合成管道的具体超参与 prompt 模板未在论文中完整披露，社区复现时可能需要做一定的反向工程。
论文图表