源之有据:面向引用幻觉检测的多智能体级联框架 CITETRACER Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection

四模块的具体执行流如下。模块 1 Reference Extractor: 输入 PDF 参考文献区 $P_{bib}$,先用 OCR 模型 $\mathcal{M}_{ocr}$ 给出候选引用块及其转写 $\{(B_k, T_k)\}_{k=1}^{K}$,其中 $B_k$ 是页级 region;然后解析智能体 $\mathcal{A}_{Parser}$ 接收裁切图 $P[B_k]$ 与 OCR 文本 $T_k$,通过视觉-文本交叉校对输出结构化记录 $r_k = \{(f, v_{k,f}) \mid f \in \mathcal{F}\}$,$\mathcal{F}$ 含 title/authors/venue/year/DOI/pages/publisher/location/URL;列/页边界断裂的引用通过 continuation block 合并修复,最终输出 $R(P)=\{r_i\}_{i=1}^{N}$。模块 2 Cascading Evidence Collector: 对每条 $r_i$ 按四级级联收集证据 $E_i$,第一级 Memory 查缓存(初值取自离线 DBLP 镜像,每确认一条 REAL 引用即更新);第二级 URL Fetch 在引用含 DOI/arXiv/publisher URL 时由 Web Agent 直接抓元数据;第三级 Scholar Agent 并行查询 DBLP、arXiv、ACL Anthology、Semantic Scholar、CrossRef 等 8 个连接器;第四级 Web Search 用从 $r_i$ 派生的搜索词再调用 Web Agent。每阶段结束后由 Field Matcher + Judger 在累积证据上尝试给出 REAL 判决,成立则级联早停,否则进入下一阶段。模块 3 Field Matcher: 先用确定性规则归一化 $\nu_f$ 对每个字段 $f \in \mathcal{F}$ 比对 $v_{i,f}$ 与证据 $u_{e,f}$,输出 $m^{rule}_{i,e,f} \in \{\text{MATCH, MISSING, MISMATCH}\}$;若 $\exists e \in E_i$ 使 $\forall f \in \mathcal{F}^+_i$ 都 MATCH,直接判为 VALID 早退,否则调用 Matcher Agent $\mathcal{A}_{Matcher}(r_i, E_i, m^{rule}_{i,e,f})$ 输出残差字段状态 $m_i$,区分"可归一化变体/候选元数据缺失/引用元数据缺失/真矛盾"四类。模块 4 Class-Specialist Judgers: 路由器 $\rho(r_i, E_i, m_i) \in \mathcal{J}_{cls}$ 按 $m_i$ 的残差模式把案件分给 Valid / Potential / Hallucinated 三个 specialist judger $J_i$,最终输出 $(y_i, \Delta_i, S_i)$。

技术新颖性可总结为四点。第一,12 码 citation hallucination taxonomy 首次显式区分 REAL 的格式变体(R1-R3)、POTENTIAL 的三种审计模糊(P1 nickname/transliteration、P2 非学术源、P3 周边字段不可验证)与 HALLUCINATED 的六种字段级错误(H1 title、H2 authors、H3 venue、H4 year、H5 identifier、H6 peripheral),P2 单独编码为"路由类"而非"验证类",这是领域内首个面向审计员反应而设计的分类体系。第二,级联式证据收集器把 8 个 Scholar Connectors + Web Agent + URL Fetch + Memory 串成廉价到昂贵的有序流水线,并支持按 verdict 早停,这是 production 化的长程 agent memory 思想在学术引用验证场景的具体化。第三,Field Matcher 的双阶段设计(规则早退 + LLM 仅处理残差)与类专家 Judger 把传统 monolithic judge 解耦成 Valid/Potential/Hallucinated 三个 calibrated specialist,避免单模型在异质错误模式间的阈值漂移,这一点通过 ablation 验证:去掉 Matcher Agent 或把 Judger 合并都会显著降低 F1。第四,Reference Extractor 的"OCR 提议 + vision-LLM 在裁切图上重解析"组合,在 authors 字段上从 85.6 提升到 98.7,location 从 81.6 提升到 100.0,首次把视觉-语言协同的解析范式引入引用验证。综合来看,这是一份把 taxonomy 设计、级联检索、规则-LLM 协同、视觉解析四件事捏成一个端到端系统的工作。

独立审视仍可发现以下弱点及改进方向。第一,**P2 路由逻辑的鲁棒性不足**:P2 是基于"非学术源(博客/GitHub/论坛)"的定义,但级联流程中无论 Scholar Connectors 是否命中,只要 URL Fetch 抓到非学术站点即被路由到 P2;然而许多学术工具页(如 arXiv abs 页面、OpenReview)同样不在 DBLP 等索引中,易与 P3(周边字段不可验证)混淆。改进方向是引入"源类型分类器 + 来源白名单/黑名单"并在 router 中显式区分"已知非学术"与"学术但索引缺"。第二,**PDF 解析对公式/希腊字母/特殊字符的鲁棒性未报告**:Table 4 给出 Title/Authors/Venue 等英文字段的准确率,但当引用包含数学符号($\alpha$, $\beta$)、希腊字母或中日韩作者名时,vision-LLM 的重解析质量未评估,实际学术写作中含特殊字符的引用占比并不低,改进方向是补充多语种、多符号的子基准。第三,**类专家 Judger 的校准阈值依赖训练集**:Judger 之间在 REAL/POTENTIAL/HALLUCINATED 的决策边界由合成集学习或人工设计,迁移到 NeurIPS/ACL 等不同会议风格时可能偏移,改进方向是引入轻量校准(温度缩放、阈值搜索)。第四,**证据源 $S_i$ 仅作支持集合,未做反例溯源**:若一条引用被错判为 REAL,系统无法指出"哪条 Scholar Connector 返回了错误元数据",改进方向是为每条证据附 confidence 分数并支持反事实解释。第五,**真实世界评测集全部是 HALLUCINATED,缺少真实世界 REAL 基线**:这导致 POTENTIAL 类的 false positive 无法准确估计,改进方向是补充一个由会议收录论文组成的真实世界 REAL/POTENTIAL 验证集。第六,**系统对 OCR 完全失败的极端 PDF(如扫描件、低分辨率)未做鲁棒性分析**,改进方向是引入 OCR 质量自检并对低质量块降级到 BibTeX-only 路径。

作者在结论中未单列 future work,但结合结果与数据可延伸出多个方向。第一,**把 12 码 taxonomy 扩展为细粒度错误生成器**:既然每条命中引用平均触发 2.24 个错误码,可基于 CITETRACER 合成更高质量、带多字段错误的训练集,反哺 LLM 写作工具的 RLHF 训练,直接抑制引用幻觉的产生。第二,**接入更多 Scholar Connectors 与跨语种源**:当前 8 个连接器偏英语圈 ML/CS,对 ACL Anthology 之外的语言学、医学等覆盖不足;扩展到 PubMed、IEEE Xplore、CNKI 等可让 taxonomy 真正跨学科落地。第三,**把多模态解析推广到数学公式/图表引用**:学术写作中常有 theorem reference、figure reference,本文只处理 bibliographic reference,扩展到全文档事实一致性核查是一个自然方向。第四,**持续学习与人类反馈闭环**:真实会议审稿人对 POTENTIAL 案件的处置(correct/reject/uncertain)本身就是高质量反馈信号,可作为在线强化学习奖励训练类专家 Judger。第五,**轻量化部署**:当前 4 模块 + 多 LLM 调用对单篇论文成本较高,可通过模型蒸馏(把 Judger 蒸馏为 7B 模型)与规则早退比例提升,把单篇延迟压到秒级,服务投稿系统的实时预审。第六,**开放评测协议与 leaderboard**:目前评测代码、合成集、真实集已开源,但缺统一 leaderboard 与版本化测试脚本,作者可推动一项持续维护的引用验证基准,促进行业可比性。

可复现性总体良好但仍有缺口。**开源情况**:作者在摘要明确给出代码仓库 https://github.com/aaFrostnova/CiteTracer,合成基准 2,450 条与真实集 957 条均计划随代码发布。**数据**:Table 1 给出每码的合成样本数(2,450 条覆盖 11 码,P2 不在合成集),Table 1 注释说明种子来自 DBLP/arXiv/ACL 的 50 篇近期 ML/CS 论文,突变算子与后处理规则在三关(round-trip audit / verifiability / boundary review)中有描述,可被独立复现;真实集来自 ICLR 2026 desk-reject 队列的 647 提交 807 引用 + 41 提交 150 引用,后者匿名会议未公开名单。**模型与后端**:LLM 基线涉及 GPT-5.5 Thinking、Claude 4.7 Opus Adaptive Thinking、Gemini 3.1 Pro 这些可能在评测后停服或涨价的前沿模型,Vision-LLM 与 LLM Judge 的具体型号/版本/调用参数未在正文中表格化,读者复现需自行比对 README。**算力**:8 个 Scholar Connectors + Web Search + 多次 LLM Judge 联合调用,单条引用成本可观;论文未给出 wall-clock、Token 数与单次美元开销,门槛主要不在 GPU,而在 API 配额与运行时间。**复现难度**:对熟悉 multi-agent 框架(LangGraph、AutoGen、Pi 等)与书目 API 的研究组,中-高难度,主要工作量在 Scholar Connectors 的鉴权与速率限制处理、对前沿 LLM 持续重测、以及对 Field Matcher 确定性规则的工程化实现;对不熟悉该栈的小组难度高。