HalluCitation 问题：通过 300 篇 ACL 会议幻觉引用论文揭示虚构引用的影响 HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences
对 17,000+ 篇 ACL 会议论文的大规模调查发现近 300 篇包含虚构引用，且问题正急速恶化
前置知识
HalluCitation（幻觉引用）
本文定义的新术语，由 Hallucination（幻觉）和 Citation（引用）合成，指论文参考文献中引用的文献实际上不存在于任何已发表的学术记录中。这些引用可能看起来格式正确、包含作者名、标题甚至 arXiv ID，但在实际检索时无法找到对应的真实论文。与简单的引用格式错误不同，HalluCitation 的本质是引用了一个从未存在的工作，可能是 AI 模型生成的，也可能是从已经被污染的二手数据库中无意间获取的。
这是本文的核心研究对象，理解其定义和产生机制是理解整篇论文的前提
ACL Anthology 与学术会议体系
ACL Anthology 是计算语言学领域最重要的开放学术文献库，收录了 ACL、NAACL、EMNLP 等顶级 NLP 会议的所有论文。它提供结构化的元数据（标题、作者、DOI、arXiv ID 等），是本文构建引用数据库进行匹配的基础数据源。ACL 会议采用 ACL Rolling Review（ARR）系统进行审稿，论文可提交至 Main Conference（主会议）或 Findings（发现）等不同 track。2024-2025 年间，这些会议的论文提交量和发表量急剧增长，例如 ACL 2025 收录了 4,510 篇论文，远超 ACL 2024 的 2,721 篇。
理解 ACL 学术生态是理解问题严重性（规模增长、审稿压力）的基础
Levenshtein 编辑距离与模糊匹配
Levenshtein 编辑距离是衡量两个字符串之间差异的经典度量，定义为将一个字符串转换为另一个字符串所需的最少单字符编辑操作（插入、删除、替换）次数。本文使用 RapidFuzz 库计算归一化 Levenshtein 距离，公式为 $1 - d_{lev} / \max(|s_1|, |s_2|)$，其中 $d_{lev}$ 是编辑距离，$s_1$ 和 $s_2$ 是待比较的字符串。当标题相似度低于 0.9 时，该引用被视为候选幻觉引用。这是一种简单但有效的粗筛方法。
这是本文检测方法的核心技术组件，理解它有助于评估方法的精度和召回率
OCR 与 PDF 文献解析
光学字符识别（OCR）是将扫描图像或 PDF 中的文字转换为机器可读文本的技术。本文使用 MinerU 工具从 PDF 中提取参考文献部分的文本块，然后用 GROBID（一种学术文献解析工具）对每条参考文献进行结构化解析，提取标题、作者、年份等字段。这两个工具的组合是因为单独使用 GROBID 在处理 ACL 风格的跨页参考文献列表时经常失败，可能从含 50 条引用的论文中仅提取到约 10 条。
理解数据处理管线的技术细节有助于评估方法的鲁棒性和潜在误差来源
ARR（ACL Rolling Review）
ACL Rolling Review 是 ACL 社区从 2021 年起采用的持续审稿系统，论文可以随时提交，经过多轮审稿后被推荐至不同会议。ARR 的审稿周期较短（通常几周），审稿人面临较大的时间压力。选择 opt-in 的提交会作为预印本公开发布。本文利用 ARR 的公开统计数据和预印本数据来分析幻觉引用论文在审稿前后的变化。
ARR 的运作机制直接影响审稿质量和幻觉引用的检测能力
研究动机
随着 AI for Science 和 AI Scientist 技术的快速发展，学术研究正从传统的人类中心模式转向广泛使用 LLM 辅助的模式。LLM 被用于写作辅助、文献搜索、引用推荐、同行评审支持等环节。然而，这些工具也带来了新的挑战：近年来，审稿人在审阅过程中越来越多地遇到包含「幻觉引用」的论文——这些引用指向的论文实际上并不存在。在学术会议中，由于提交量的指数级增长（例如 ACL 2025 收录论文数达 4,510 篇，是 2024 年的 1.66 倍），审稿质量面临严重挑战：审稿人需要在有限时间内评审大量不熟悉主题的论文，审稿系统甚至对延迟审稿实施惩罚（如 desk rejection）。这种压力导致审稿重点从严格评估转向在截止日期前完成评审，难以仔细核实引文的正确性。当这些虚构引用出现在已发表的论文中时，不仅威胁学术可靠性，还可能损害会议的整体信誉。
本文的目标是本文旨在系统性地调查幻觉引用在顶级 NLP 会议中的普遍程度和影响范围。具体目标包括：（1）分析 2024-2025 年间 ACL、NAACL、EMNLP 三个会议共 17,842 篇论文中的所有引用；（2）量化包含幻觉引用的论文数量及其随时间的变化趋势；（3）分析不同会议、不同 track（Main、Findings、Workshop 等）中幻觉引用的分布特征；（4）提出一种实用的幻觉引用检测方法，并为自动化检测工具提供实操指南；（5）基于分析结果提出改进建议，帮助维护学术出版的可信度。
与已有工作不同的是，此前关于学术幻觉的讨论主要集中在 LLM 生成文本的事实性错误上，缺乏对已发表学术论文中引用真实性的大规模实证研究。本文的独特切入角度有三点：第一，首次将幻觉引用作为独立研究对象进行系统量化分析，而非仅作为 LLM 幻觉问题的一个附带案例；第二，不仅关注幻觉引用的存在，还深入分析其来源——证明这些错误并非都来自 AI 生成，而是可能源自 Google Scholar、Semantic Scholar 等二手数据库中的已有错误条目；第三，将分析结果与同行评审流程的结构性问题联系起来，从制度层面探讨幻觉引用泛滥的根因，而非仅在技术层面提出解决方案。
核心方法
本文的方法可以类比为「在干草堆中找针」——面对超过 74 万条引用，要从中找出极少量的虚构引用。作者采用了一个分层筛选策略：先利用「大多数引用是正确的」这一假设，通过自动化手段粗筛出候选幻觉引用，然后通过人工验证确认。整个流程分为四个阶段：（1）数据收集：从 ACL Anthology 下载 2024-2025 年六个会议的所有 PDF 文件和元数据；（2）引用提取：使用 OCR 和学术文献解析工具从 PDF 中提取结构化的引用信息；（3）候选创建：将提取的引用标题与多个引用数据库进行模糊匹配，筛选出无法匹配的候选；（4）人工验证：通过查阅原始 PDF 和网络搜索，逐一确认每个候选是否确实不存在。这种方法优先保证精确率（precision），报告的结果应被视为下界。
本文最核心的创新在于其检测策略的设计思路。作者没有试图直接识别所有幻觉引用（这在海量数据中几乎不可能），而是利用了两个关键洞察：（1）幻觉引用的标题在已知引用数据库中找不到匹配——因此可以通过简单的字符串模糊匹配来高效筛选候选；（2）当一篇论文中出现多个候选时，该论文确实包含幻觉引用的概率大幅提高——这意味着候选数量本身就是一个有效的信号。具体而言，当一篇论文有 4 个或更多候选时，命中率超过 60%；有 7 个以上候选时，命中率超过 92%。这种「候选数量即信号」的发现为实际的自动化检测工具提供了明确的操作指南：只需对论文进行简单的标题匹配，统计候选数量，即可有效筛选出高风险论文。
方法步骤详情
步骤一：数据收集。下载 ACL Anthology 中 2024-2025 年 NAACL、ACL、EMNLP 三个会议的全部论文 PDF，包括主会议、Findings、学生研讨会、工业界论文和 Workshop 论文，共计 17,842 篇。步骤二：引用提取。使用 MinerU（OCR 工具）从 PDF 的参考文献部分提取原始文本块，再输入 GROBID 进行结构化解析，获取每条引用的标题、作者等结构化字段。共提取到 741,656 条引用，每篇论文中位数为 39 条。步骤三：候选创建。首先通过启发式规则缩小范围，检查引用字符串是否包含 ACL、EMNLP、arXiv 等关键词。然后使用 RapidFuzz 库计算引用标题与 ACL Anthology、arXiv、DBLP、OpenAlex 数据库中已有论文标题的字符级模糊匹配相似度（归一化 Levenshtein 距离），阈值设为 0.9。相似度低于 0.9 的引用被标记为候选。共筛选出 2,950 篇候选论文（占 16.53%），涉及 4,104 条候选引用（占 0.55%）。步骤四：人工验证。对所有 2,950 篇候选论文的候选引用逐一验证：如果引用提供了可点击链接、DOI、arXiv ID 等标识信息，则直接检索；否则通过引用标题进行网络搜索。如果无法找到对应论文，或找到的论文至少有两个关键属性（标题、作者、会议、页码）不匹配，则标记为 HalluCitation。一旦确认至少一条幻觉引用，该论文即被标记为「HalluCited」，不再进一步检查。
技术新颖性
本文的技术新颖性主要体现在三个层面。首先，在研究对象层面，这是首次对顶级学术会议中幻觉引用进行大规模、系统性的实证研究，填补了学术诚信领域的一个重要空白。此前的工作多关注 LLM 生成文本的幻觉问题，而本文将视角从生成端转向了出版端，揭示了幻觉引用在已发表论文中的真实规模。其次，在方法层面，虽然字符级模糊匹配本身并非新技术，但本文将其应用于学术引用验证这一新场景，并发现了「候选数量即信号」这一实用规律。这种将简单方法与大规模数据分析结合的范式具有很高的实用价值。第三，在分析深度层面，本文不仅停留在计数层面，还通过 TF-IDF 分析、领域分析、ARR 审稿数据分析等多个维度深入挖掘幻觉引用的特征和成因，特别是关于二手数据库污染的发现（如 Google Scholar 中存在完全虚构的论文条目），为理解幻觉引用的传播机制提供了重要证据。
实验结果
本文的核心发现可分为以下几组。第一，幻觉引用论文数量在 2025 年出现爆炸性增长：从 2024 年的 20 篇激增至 2025 年的 275 篇，增长超过一个数量级。在 2024 年，三个会议的幻觉引用论文占比均不到 0.5%（NAACL 为 0.12%，ACL 为 0.24%，EMNLP 为 0.37%），而到 2025 年，该比例大幅上升（NAACL 为 1.81%，ACL 为 1.91%，EMNLP 为 3.70%）。第二，EMNLP 2025 单独贡献了 154 篇幻觉引用论文，接近总数的一半，且其中 105 篇（约 70%）发表在 Main Conference 和 Findings track 中，而非仅局限于 Workshop。这一发现表明幻觉引用问题已从边缘 track 扩散到核心 track，严重影响了会议的可信度。第三，候选数量与实际命中率高度相关：当一篇论文仅含 1-2 个候选时，命中率较低（主要受 OCR 解析噪声和模糊匹配阈值影响）；但当候选数达到 4 个时，命中率跃升至 60.7%；达到 6 个时为 70.0%；达到 7 个以上时为 92.9%。这意味着候选数量可以作为幻觉引用检测的实用指标。第四，大多数幻觉引用论文仅包含少量幻觉引用：近 200 篇（约三分之二）的幻觉引用论文仅含 1-2 个幻觉引用。这意味着幻觉引用往往被隐藏在大量正常引用之中，人工检测极为困难。第五，幻觉引用并非都由 AI 生成：作者展示了 Google Scholar 和 Semantic Scholar 中存在的错误条目——包括完全虚构的论文（如图 5 中的 Case 2，一篇声称发表于 ACL 2024 但实际上不存在的论文）、标题截断的条目（Case 1）以及包含错误 arXiv ID 或缺失作者信息的条目（Case 3）。这些错误在数据库中已被大量后续论文引用传播。第六，领域分析显示新兴研究领域（如 LLM Efficiency、AI/LLM Agents、Safety and Alignment in LLMs）的幻觉引用论文比例较高，这些领域在 EMNLP 2025 中是首次设立的新 track，可能因为难以找到足够合格的审稿人。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 幻觉引用论文检测率 | 论文数量（HalluCited papers） | 295 篇（1.65%） | 此前未有系统性调查 | 首次建立基准 |
| 2024 vs 2025 增长 | HalluCited 论文增长率 | 275 vs 20（13.75 倍） | 2024 年仅 20 篇 | 增长超过一个数量级 |
| 候选命中率（≥4 候选） | Hit Rate | 60.7-100%（4+ 候选） | 随机检测需人工逐条核实 | 候选数量可作为自动筛选信号 |
| EMNLP 2025 Main+Findings | HalluCited 论文占比 | 105 篇（3.3%） | EMNLP 2024 仅 11 篇 | 增长约 9.5 倍 |
| 每篇论文平均幻觉引用数 | Ave. HalluCitations per HalluCited paper | 1.39 条（整体）；2025 年为 1.46 | 2024 年为 1.26 | 每篇幻觉引用论文的幻觉引用数量也在增加 |
局限与改进
本文存在多个层面的局限性。首先，在方法层面，作者坦承报告的结果应被视为下界（lower bound）：由于 OCR 解析可能遗漏引用、模糊匹配阈值可能过滤掉真正的幻觉引用、且仅关注明确指向 ACL 或 arXiv 的引用，实际的幻觉引用数量可能更高。同时，字符级模糊匹配可能产生误报（false positives），特别是当引用标题包含特殊字符或格式异常时。其次，在范围层面，本文仅分析了 2024-2025 年间的六个顶级 NLP 会议，未涵盖其他 AI/ML 会议（如 NeurIPS、ICML）、其他领域的期刊或更早期的论文。作者指出，由于幻觉引用问题在早期年份（如 2023 年）几乎不存在，回溯分析价值有限，但这也意味着我们对该问题的历史演变了解不足。第三，在因果推断层面，本文无法确定幻觉引用的具体成因——是 LLM 生成、作者粗心、还是二手数据库污染。作者强调幻觉引用不应被自动归因于 AI 工具的使用，但在缺乏作者调查的情况下，这一判断难以验证。第四，在审稿流程分析方面，由于 ARR 的审稿数据透明度有限（预印本公开率仅约 20%），无法全面评估幻觉引用在审稿前后的变化，也无法追踪审稿人是否要求作者修正了幻觉引用。第五，本文的分析主要集中在已发表的论文上，未涵盖被拒稿论文，因此无法评估幻觉引用对论文录用决策的影响。
独立分析的弱点
本文存在几个值得关注的弱点。第一，检测方法的召回率可能较低：字符级模糊匹配仅能检测标题层面的不匹配，对于标题正确但作者、年份或会议信息错误的幻觉引用（如图 5 中的 Case 3，arXiv ID 错误但标题相似），该方法可能无法捕获。改进方向是引入语义相似度匹配（如使用论文 embedding）或多字段联合验证（同时检查标题、作者、年份、会议名）。第二，人工验证的主观性：虽然作者采用了保守的判定标准（至少两个关键属性不匹配才标记为 HalluCitation），但验证仅由论文作者自己完成，未引入独立的第三方验证。改进方向是建立多人交叉验证的标注流程，或利用 LLM 辅助自动验证（如让 LLM 检索并比对引用信息）。第三，缺乏对作者意图的分析：本文无法区分故意造假、无意失误和数据库污染三种情况。改进方向是对部分 HalluCited 论文的作者进行匿名调查，了解幻觉引用的实际来源。第四，对数据库污染的分析较为初步：仅展示了 Google Scholar 和 Semantic Scholar 中的几个案例，未进行大规模的数据库质量评估。改进方向是系统性地扫描这些数据库中的错误条目，量化其污染程度。第五，建议部分较为宏观：作者提出的改进措施（如引入自动验证工具、改善参考文献格式）缺乏具体的实施方案或原型系统。
未来方向
作者和本文可延伸的未来研究方向包括：（1）开发端到端的幻觉引用自动检测系统，集成到 ACL pubcheck 等现有工具中，在作者提交前和会议审稿时自动扫描；（2）扩展分析范围到 NeurIPS、ICML、CVPR 等其他顶级会议以及 arXiv 预印本，评估幻觉引用是否是 NLP 领域的特有问题；（3）对 Google Scholar、Semantic Scholar 等学术数据库进行系统性的质量审计，量化其中错误条目的比例，并建立纠错机制；（4）研究 LLM-based citation recommendation 工具（如 Semantic Scholar 的推荐 API）是否会放大幻觉引用的传播；（5）探索利用 LLM 进行幻觉引用自动验证的可行性，例如让 LLM 检索引用信息并判断其真实性；（6）从制度层面重新设计学术会议的审稿流程，如作者提议的 mega-journal 式异步严格审稿与会议展示相结合的模式；（7）建立引用规范性标准，要求所有引用必须包含可验证的标识符（如 DOI、可点击的 arXiv 链接），便于自动化验证。
复现评估
本文的可复现性总体较好。作者使用的数据源均为公开资源：ACL Anthology 的论文 PDF 和元数据可通过其 GitHub 仓库获取，arXiv 元数据可从 Kaggle 下载，DBLP 和 OpenAlex 提供 REST API。代码和工具由作者自行开发。然而，完整复现存在一些挑战：（1）人工验证环节由三位论文作者独立完成，无法完全复制，但作者在附录中提供了完整的 295 篇幻觉引用论文列表及其对应的幻觉引用证据；（2）OCR 处理需要 GPU 资源（作者使用 NVIDIA A6000），但其他分析步骤可在普通笔记本电脑上完成；（3）ARR 的统计数据和预印本数据是公开的，但透明度有限（仅约 20% 的提交选择 opt-in）；（4）论文的元数据和引用数据库（ACL Anthology、arXiv、DBLP、OpenAlex）会随时间更新，复现时的结果可能与论文报告的数值略有差异。总体而言，本文的主要贡献——量化分析和趋势发现——是可以复现的，但具体的幻觉引用判定需要人工参与。
论文图表
该图展示了三个实际发现的幻觉引用案例：第一个引用包含错误的 arXiv ID（arXiv:2402.12345，实际对应数学领域的一篇论文而非 NLP 论文）；第二个引用标题后带有「Anticipated for NeurIPS 2024」等不确定短语；第三个引用标题指向一篇真实论文「Canine」（Clark et al., 2022），但链接页面上该论文并不存在。
这是全文的开篇示例，直观展示了幻觉引用的真实面貌，帮助读者理解问题的严重性和多样性