LegalHalluLens：类型化幻觉审计与校准多智能体辩论的可信法律 AI LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI
提出类型化幻觉画像和风险方向指数，通过校准的多智能体辩论降低法律 AI 幻觉 45%
前置知识
幻觉率（HalTP/HalGen）
论文提出的两种幻觉度量指标。HalTP = contradicted/TP，衡量在检测到的条款中内容错误的比率，用于类型化画像基准测试；HalGen = (contradicted + FP)/(TP + FP)，更严格的生成端指标，在分母中加入虚假检测，用于评估缓解管道。两种指标互补，分别针对内容错误检测和整体生成质量。
论文核心贡献建立在区分不同类型条款的幻觉率差异上，需要理解这些指标才能读懂实验结果和类型化画像的意义。
风险方向指数（RDI）
论文提出的单一有符号标量指标，定义为 RDI(M) = (pextra(M) - pmissing(M))/100，其中 pextra 是额外条件错误百分比，pmissing 是缺失条件错误百分比。正值表示发明主导的失败（高估），负值表示遗漏主导的失败（低估）。RDI 将内容错误的方向特征压缩为部署可比较的信号，可用于区分聚合幻觉率相同但风险相反的系统。
RDI 是论文的关键创新之一，解决了合规工作流程中需要理解错误方向而不仅仅是错误率的实际问题。
类型化辩论流水线
六角色多智能体辩论系统，包括 Skeptic（提出类型化挑战问题）、Supporter（用逐字引用辩护）、Re-extractor（识别结构错误时重新提取）、Arbiter（解决僵局）、Verifier（独立搜索合同并检查定义拟合）、Judge（阅读完整辩论记录并做出约束内容决策）。与通用多智能体辩论不同，Skeptic 挑战和 Add/Delete 门非对称性都来自 Experiment 1 测量的失败模式，而非通用调优。
这是论文的主要贡献和核心机制，理解其组件和工作方式是读懂实验 2 结果的基础。
CUAD 数据集
Contract Understanding Atticus Dataset v1.0，包含 510 份专家标注的商业合同和 41 种条款类型，提供完整的 ground-truth 神谕。每份模型的输出都可以仅从合同文本中验证，无需外部知识。论文将 41 种条款类型按主要验证挑战映射到四个类别：数值型（5 种）、时间型（6 种）、义务/权利型（27 种）、事实型（3 种）。
实验的基础数据集，理解其规模和标注方式是理解实验设置和结果范围的前提。
研究动机
法律 AI 在工作流程中的部署面临严重的幻觉问题。聚合指标报告的平均幻觉率约为 52%，但这个平均值掩盖了错误集中的位置和错误方向。在法律领域，错误具有不对称性：虚假创造的责任上限可能被依赖数月，而非竞争范围限定符的无声遗漏可能产生不可执行的条款，法律顾问从未标记。合规官在没有可操作信号的情况下无法做出可信的部署决策。现有的法律幻觉基准如 Dahl 等人（2024）和 Hou 等人（2024）的工作虽然建立了法律幻觉并非统一的观点，但没有解决合同提取设置，也没有将方向特征压缩为部署可比较的标量。
本文的目标是本文的目标是开发一个审计框架，揭示聚合指标隐藏的失败模式，并提供可操作的信号来指导法律 AI 的可信部署。具体包括三个目标：(1) 建立类型化幻觉画像，测量不同法律声明类型的幻觉率差异；(2) 提出风险方向指数，将内容错误分解为遗漏 vs 发明，编码净方向偏差为单一部署可比较的信号；(3) 开发校准的多智能体辩论管道，基于测量的失败模式而不是通用调优来减少幻觉。
与已有工作不同的是，本文的独特切入角度在于关注法律 AI 错误的类型化特征和方向特征，而不仅仅是聚合准确率。论文认为，通用的多智能体辩论在高风险野外部署中是错误的默认选择，适当的 Skeptic 挑战取决于底层模型实际展示的失败模式，而适当的门非对称性取决于方向风险剖面。类型化画像和 RDI 被设计为智能体设计的校准输入，而不是独立的基准数字。据本文所知，这是第一个多智能体提取管道，其组件是从测量的每失败模式诊断校准的，而不是通用选择的。
核心方法
方法整体思路分为三个组件：类型化幻觉画像、风险方向指数、类型化辩论流水线。前两个是评估程序，第三个是受其输出缓解的缓解机制。论文首先在 CUAD 数据集上评估四个模型（gemini-3-flash、gpt-5.2、qwen3-32b、llama-3.3-70b）建立类型化失败画像，计算每个声明类型的 HalTP 和模型内的类型化差距 Gap(M) = max HalTP(M, ci) - min HalTP(M, ci)。然后基于评估法官返回的缺失条件和额外条件标签计算 RDI。最后在 Experiment 2 中，基于 Experiment 1 测量的失败剖面设计六角色辩论流水线，在 gemma-4-26B-A4B 模型上测试校准干预的效果。
核心创新点在于将多智能体辩论的组件校准到实际测量的失败模式，而不是通用调优。具体包括：(1) 类型化 Skeptic 挑战：对于数值声明，询问值是否在源中逐字存在或被通用先验替代；对于义务声明，询问模态动词是否保留以及所有例外是否捕获；对于时间声明，询问值是否显式陈述或推断；对于事实声明，询问信息是否来自文档或外部知识。(2) 非对称结构门：加法门（absent→present）需要 Verifier 确认和辩论共识才能接受新检测；删除门（present→absent）在 Verifier 确认存在时被阻止，防止过度保守地删除真实发现。(3) Re-extractor 节点：当 Skeptic 识别出提取了错误的条款时，从源重新运行提取而不是辩论无法修复的答案。
方法步骤详情
方法步骤的完整描述：(1) 基准提取阶段：模型对合同中的条款类型进行结构化 JSON 提取，输出条款存在决策和提取内容。(2) 外部评估阶段：独立的评估法官（gemini-2.5-flash）使用严格的五标准评分规则对每个提取的条款进行评分，返回 supported/contradicted 判决和错误类型标签。(3) 类型化画像计算：按声明类别 ci ∈ {numeric, temporal, obligation, factual} 分区所有条款级输出，报告每类别的 HalTP(M, ci) 分层。(4) RDI 计算：基于缺失条件和额外条件标签的百分比计算 RDI(M) = (pextra(M) - pmissing(M))/100。(5) 辩论流水线执行：Skeptic 发出类型化挑战，Supporter 用逐字合同引用辩护，路由节点根据共识和错误类型调度，必要时触发 Re-extractor，Verifier 独立搜索合同并检查定义拟合，Judge 阅读完整辩论记录并通过非对称门做出最终内容决策。
技术新颖性
技术新颖性分析体现在三个方面：(1) 类型化失败画像揭示了约 40 pp 的模型内类型化差距，数值和义务型条款的幻觉率为 64.8-74.3%，而时间型条款仅为 29.0-35.1%，这一模式在四个架构不同的模型上一致。(2) 风险方向指数将错误方向操作化为单一有符号标量，可以区分聚合 HalTP 相同但风险相反的系统，如 gpt-5.2（RDI = +0.161，发明主导）和 qwen3-32b（RDI = -0.202，遗漏主导）。(3) 校准的多智能体辩论管道是第一个从测量的每失败模式诊断校准的多智能体提取管道，Skeptic 挑战和 Add/Delete 门非对称性都来自测量的每类别和每方向失败模式，而不是通用选择的。
实验结果
核心发现来自两个实验。Experiment 1 在 510 份合同基准上评估四个模型，发现一致的失败排序 {numeric, obligation} ≫ factual ≥ temporal 在每个模型上成立且无例外。类型化差距约为 38-41 pp，具体而言数值型幻觉率为 66.8-74.3%，义务型为 64.8-73.6%，事实型为 36.0-46.9%，时间型为 29.0-35.1%。聚合 HalTP 频带为 50.9-56.5%，太窄无法支持部署决策。两个系统 gpt-5.2（HalTP = 51.8%）和 qwen3-32b（HalTP = 52.1%）在聚合评估下基本无法区分，但 RDI 显示相反的风险剖面，95% 自助置信区间不重叠。Experiment 2 在 120 份合同匹配子集上应用类型化辩论流水线，使 gemma-4-26B-A4B 从最后一名（Score 5.2）移动到第一名（Score 2.4），在 5 种加权方案中排名第一。机制是制造过滤而非内容修正：虚假提取从 524 降至 287（-45%），内容矛盾仅从 642 移动到 641（-0.2%）。每类型差异遵循预测：义务 ∆FAR = -8.2, ∆HalGen = -6.3，事实 ∆FAR = -5.8，数值 ∆FAR = -3.6，时间 ∆FAR = -2.4。义务 RDI 从 -0.078 移动到 -0.014，接近平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 类型化幻觉画像基准测试 | HalTP（内容幻觉率） | 数值型 66.8-74.3%，义务型 64.8-73.6%，事实型 36.0-46.9%，时间型 29.0-35.1% | 聚合 HalTP 50.9-56.5% | 揭示 38-41 pp 的类型化差距，聚合报告无法观察 |
| 风险方向分离 | RDI（风险方向指数） | gpt-5.2: +0.161 [发明主导]，qwen3-32b: -0.202 [遗漏主导] | 聚合 HalTP 无法区分（51.8% vs 52.1%） | 提供部署关键的方向信号，95% 置信区间不重叠 |
| 校准多智能体辩论缓解 | HalGen + 综合得分 | gemma-debate: HalGen 58.6%, Score 2.4 (排名1/6) | gemma-base: HalGen 64.8%, Score 5.2 (排名6/6) | HalGen 改善 6.2 pp，虚假检测减少 45%，综合得分从最后升到第一，匹敌商业 API |
| 成本效益 | 活跃参数 vs 综合得分 | gemma-4-26B-A4B (4B 活跃参数) 匹配商业 API | gpt-5.2, gemini-3-flash（商业 API） | 在 substantially lower inference cost 下匹配或超过商业 API 性能 |
局限与改进
局限性分析包括作者承认的和观察到的。作者承认的局限性：(1) 数值结果适用于 510 份英语-美国商业合同，类型化失败排序在四个架构上一致，但跨司法管辖区和文档类型的推广仍需验证。(2) 所有实验假设全文档上下文，对于超出模型上下文窗口的合同，检索增强变体会引入与此处测量的失败模式正交的额外失败模式。(3) 所有报告的 HalTP、HalGen 和 RDI 数值都通过单个 LLM 评估法官（gemini-2.5-flash）应用附录 A 中的评分规则得出，RDI 应被解释为方向信号而非风险基数度量。(4) Experiment 2 使用一次运行，一个骨干（gemma-4-26B-A4B）在 120 份合同子集上，综合排名仅为该比较的证据。作者警告称，即使最佳配置也在 58.6% 的检测条款内容中与源矛盾，类型化评估应告知而非替代高风险法律工作流程中的合格人工审查。类型化辩论流水线可能被误用以产生合规审查的外观而无实质，例如自动尽职调查报告满足程序门槛的同时掩盖 40+ pp 的类型化差距。
独立分析的弱点
独立分析的弱点包括：(1) 评估法官依赖性：所有指标都通过单个 LLM 评估法官（gemini-2.5-flash）生成，存在法官偏倚风险。虽然大 RDI 分离如 gpt-5.2 vs qwen3-32b 可能超出任何合理的法官噪声带，但接近零的每类别 RDI 值需要额外谨慎。改进方向：在分层样本上验证评估标签与专家标注，或使用多个法官取平均。(2) 单一骨干验证：Experiment 2 仅在一个骨干模型（gemma-4-26B-A4B）上验证，该模型被保留在 Experiment 1 之外以保持缓解研究与基准分离，并被选择为匹配子集上最差的综合得分基线。改进方向：在多个骨干模型上验证校准干预的泛化性。(3) 有限的文档类型范围：所有实验使用 CUAD 风格的英语-美国商业合同，类型化失败排序是否转移到其他文档类型是经验性问题。改进方向：在其他司法管辖区（如大陆法系）和其他文档类型（如法规、法院意见）上重新测量类型化画像。(4) 单次运行：Experiment 2 仅使用一次运行，可能无法捕捉随机性。改进方向：多次运行取平均，报告置信区间。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的。作者提出：(1) 最小提示和通用辩论消融是直接扩展。(2) 在分层样本上验证评估标签与专家标注，这将收紧 RDI 的基数解释而不改变方向排序。(3) 验证类型化失败排序在其他司法管辖区和文档类型的推广性。基于成果可延伸的方向：(1) 扩展到其他法律任务如法规分析、法院意见摘要，每个任务特定的审计而非应用 CUAD 导出的阈值到新上下文。(2) 探索更多角色和更复杂的辩论协议，如引入法律专家角色或更精细的 Verifier 规则。(3) 研究检索增强变体中的额外失败模式，特别是在超出模型上下文窗口的长合同中。(4) 开发自动化类型化审计工具，支持部署前测量和部署后监控，方向感知治理。(5) 研究其他高风险领域（如医疗、金融）中的类型化失败模式和多智能体辩论缓解。
复现评估
复现评估：代码、提示和分析脚本已在 GitHub 上开源（https://github.com/lalitdv9/LegalHallulens），遵循 Apache 2.0 许可证。数据集使用公开的 CUAD v1.0，510 份商业合同和 41 种条款类型。Experiment 1 每个模型三次独立运行，实际导出总数为 62,580（gemini-3-flash）、62,689（gpt-5.2）、61,536（qwen3-32b）和 62,447（llama-3.3-70b），总共 249,252 个条款级实例。0.2-1.9% 的短缺是合同相关的而非随机的。Experiment 2 使用 120 份合同匹配子集（运行 id = 1，名义 4,920 个机会）。计算资源需求取决于模型选择，商业 API（gemini-3-flash、gpt-5.2）和开放模型（qwen3-32B、llama-3.3-70B、gemma-4-26B-A4B）都需要相当的计算资源。复现难度中等，需要访问评估用的 LLM API 和足够的计算资源来运行开放模型。
论文图表