CiteAudit：你引用了它，但你读过吗？LLM时代科学引用验证基准 CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era

方法分为四个主要阶段：第一阶段是元数据提取，使用Qwen3-VL-235B A22模型进行OCR和结构化解析，将PDF中的引用转换为标准化的JSON格式。第二阶段是记忆查询，使用Mem0框架构建的向量数据库，通过余弦相似度（阈值 $\tau = 0.92$）快速查询已验证的引用记录。第三阶段是网络验证，如果缓存未命中，网络搜索代理使用Google Search API检索相关在线证据，然后判断代理执行严格的元数据一致性检查。第四阶段是学者验证，对于网络验证未解决的情况，学者代理使用低频、高精度的爬虫从Google Scholar等权威数据库获取规范记录，然后进行最终验证。整个流程由Gemini 3 Flash驱动的规划模型协调，验证函数为 $\Phi(r_i) = \begin{cases} \text{Verified} & \text{if } A_{mem}(r_i) > \tau \\ \text{Verified} & \text{if } A_{jud}(r_i, A_{web}) = 1 \\ A_{jud}(r_i, A_{sch}) & \text{otherwise} \end{cases}$。

本文的技术新颖性体现在多个方面：首先，在基准构建方面，提出了首个系统化的幻觉引用分类体系，将错误分为标题错误（关键词替换、释义改写、主题合成）、作者错误（添加、删除、扰动、完全伪造）和元数据错误（出版物、年份、标识符），并构建了包含生成数据和真实世界数据的双轨基准。其次，在方法设计方面，提出了基于SOP的多代理架构，将验证过程分解为专门的代理角色，通过分层决策实现高效验证。第三，在评估方面，提供了统一的评估协议和指标，包括准确性、精确率、召回率、F1分数以及运行时间和成本，支持全面的性能比较。第四，在系统实现方面，使用了最新的多模态LLM（Qwen3-VL-235B A22）进行提取，结合记忆缓存和网络搜索，实现了高准确率（96.6%）和高F1分数（0.959）。

本文的弱点主要体现在几个方面：首先，系统的性能高度依赖于外部服务的可用性和质量，如果Google Search API或Google Scholar的访问受限，系统的验证能力将大幅下降。其次，记忆代理的缓存机制虽然提高了效率，但也可能引入偏差，特别是当缓存中存在错误记录时。第三，系统的验证规则（如标题匹配的严格程度、作者匹配的宽松程度）是预定义的，可能无法适应所有学科领域的引用规范。第四，多代理架构虽然提高了专业性，但也增加了系统的复杂性和潜在的故障点。第五，论文未充分讨论系统的可扩展性，特别是在处理大规模文档时的性能表现。改进方向包括：开发更鲁棒的本地证据检索机制，减少对外部API的依赖；引入自适应的验证规则，根据不同学科领域调整匹配策略；优化多代理协作机制，减少通信开销和延迟；增加对多语言引用的支持。

基于本文的工作，未来研究可以在多个方向展开：首先，可以扩展基准数据集，覆盖更多学科领域、语言和引用格式，特别是中文、日文等非英文引用。其次，可以开发更智能的验证代理，使用强化学习优化验证策略，根据引用类型和上下文动态调整验证流程。第三，可以将系统集成到学术出版流程中，为审稿人、编辑和作者提供实时的引用验证服务。第四，可以研究幻觉引用的生成机制，从源头减少LLM产生幻觉引用的可能性。第五，可以开发跨语言、跨文化的引用验证能力，支持全球学术交流。第六，可以探索将区块链技术用于引用溯源，建立不可篡改的引用记录。第七，可以研究如何将引用验证与学术评价体系结合，鼓励准确的引用实践。

本文在可复现性方面做出了重要努力。作者公开了代码库，提供了详细的系统提示和SOP定义（在附录中）。基准数据集的构建过程详细描述，包括数据来源、生成方法和人工验证流程。系统使用的模型（Qwen3-VL-235B A22、Gemini 3 Flash）和工具（Google Search API、Mem0框架）都是公开可用的。实验设置详细说明，包括硬件配置（NVIDIA B200 GPU集群）、超参数（温度0.0、相似度阈值0.92）和评估指标。然而，完全复现系统仍有一定难度，因为：需要访问多个商业API（Google Search、Gemini等）；需要构建大规模的记忆缓存；需要处理PDF文档的OCR和解析；需要管理多代理系统的复杂状态。论文提供了详细的附录，包括提示模板、数据集统计和验证协议，这大大降低了复现的难度。