Legal RAG Bench：法律检索增强生成系统的端到端基准测试 Legal RAG Bench: an end-to-end benchmark for legal RAG
首个法律领域端到端RAG基准，证明检索质量比LLM更关键
前置知识
RAG（Retrieval-Augmented Generation）
检索增强生成是一种将大型语言模型与外部知识库结合的技术。它通过在生成回答前先从语料库中检索相关文档片段，然后将这些片段作为上下文输入到LLM中，从而提高回答的准确性和可验证性。这种方法特别适用于需要事实准确性和可溯源性的应用场景，如法律、医疗等专业领域。
本文核心研究RAG系统的评估方法，不理解RAG的工作原理就无法理解论文提出的三维评估框架和错误分解方法。
嵌入模型（Embedding Model）
嵌入模型将文本转换为数值向量表示，使得语义相似的文本在向量空间中距离更近。在RAG系统中，嵌入模型负责将查询和文档都编码为向量，然后通过计算向量相似度（如余弦相似度）来找到最相关的文档片段。不同的嵌入模型在语义理解、领域适配能力和检索精度方面差异显著。
本文核心发现是嵌入模型的选择比LLM选择更重要，理解嵌入模型的作用是理解这一结论的基础。
幻觉（Hallucination）
幻觉是指大型语言模型生成内容时编造不存在或不正确信息的现象。在RAG系统中，幻觉特别危险，因为即使模型生成了看似正确的回答，如果这些回答无法从提供的检索上下文中得到支持，就不可验证且可能误导用户。幻觉可能发生在模型对检索到的信息理解错误，或者在缺乏相关信息时主动编造内容。
论文的重要贡献是提出层次化错误分解框架，将幻觉与检索失败、推理失败区分开来，这是理解法律RAG系统失效模式的关键。
检索准确性（Retrieval Accuracy）
检索准确性衡量检索系统找到相关文档片段的能力。在本文中，定义为嵌入模型是否成功检索到人工标注的支持性段落。检索准确性直接决定了RAG系统能否获得回答问题所需的关键信息。即使最好的LLM，如果检索不到相关段落，也无法生成正确的答案。
本文的核心发现是检索准确性是RAG系统性能的瓶颈，Kanon 2 Embedder能达到86%的检索准确性，而通用模型只有52-53%。
正确性和基础性
正确性衡量模型生成的回答是否与参考答案语义一致，基础性衡量回答是否能够从检索到的段落中得到支持。这两个维度缺一不可，正确的回答但不基础意味着无法验证其来源，基础的回答但不正确意味着检索到了相关信息但推理有误。理想的RAG回答应该同时满足正确性和基础性。
论文提出同时评估这两个维度来区分检索失败和推理失败，这是理解论文评估框架的关键。
研究动机
现有的法律AI基准测试存在严重质量问题和方法学缺陷。AILA Casedocs和AILA Statutes数据集采用自动化方法，将印度最高法院案例中陈述的事实与律师引用的案例和法规配对。作者承认实际涉及法律专家需要大量的资金资源和时间。这种基于案例引用而非事实匹配的方法在实践中几乎不可能实现检索目标。例如，Donoghue v Stevenson案实际上关于May Donoghue因饮用含有腐烂蜗牛的姜汁啤酒而生病，但该案在世界各地的判决书中被引用来支持与蜗牛、姜汁啤酒或Donoghue女士毫无相关的法律观点。Humanity's Last Exam的法律子集也存在类似问题，大多数示例不恰当、框架糟糕或错误标记。一个关于财产所有权的案例既没有说明适用司法管辖区，答案也是不正确的。LegalBench和LegalBench-RAG声称评估LLM的推理和检索能力，但大部分数据实际上是低价值的文本分类和情感分析任务，只需要简单的yes或no答案。HousingQA和BarExamQA虽然更具挑战性，但仅评估封闭式问题，无法模拟真实世界法律RAG系统的混乱条件，无法检测LLM生成不连贯回答或产生基本正确但无依据答案的能力。
本文的目标是本文的目标是创建Legal RAG Bench，一个高质量的法律RAG端到端基准测试和评估方法。作为数据集，Legal RAG Bench包含4,876个来自维多利亚刑法典的段落和100个复杂的、手工crafted的问题，需要专家级的维多利亚刑法和程序知识才能正确回答。每个问题都配有长形式答案和支持性段落，能够同时评估检索和答案生成性能。作为评估方法，Legal RAG Bench在多个前沿检索和生成模型上运行全因子实验，利用新颖的错误分类法将错误分解为幻觉、检索失败和推理失败，并将这些错误归因到特定模型。作者的目标是证明检索质量是端到端法律RAG性能的主要驱动因素，生产法律RAG系统中的大多数幻觉是由检索失败引起的，并公开发布数据、代码和结果以支持可复现的评估。
与已有工作不同的是，本文的独特切入角度在于构建第一个真正端到端的法律RAG评估框架，而不是只评估检索或生成中的单一组件。大多数现有法律AI基准测试要么只评估检索性能，要么只评估LLM的生成能力，无法模拟真实世界RAG系统的复杂交互。本文通过问题-答案-证据三元组结构，能够同时评估检索和生成组件的性能。另一个独特角度是引入层次化错误分解框架，将幻觉定义为第一优先级的失效模式，因为真实世界中幻觉或无依据的答案使得无法独立验证答案的正确性。这与传统评估方法只关注最终答案的正确性形成对比。此外，本文还采用全因子实验设计，测试所有嵌入模型和LLM的组合，并报告交互效应，这是大多数法律RAG评估所未做的。最后，本文强调法律领域专业知识在基准测试设计和标注中的关键作用，每个阶段都由法律和AI领域专家指导和参与，这与许多依赖自动化方法或缺乏专业知识的基准测试形成鲜明对比。
核心方法
Legal RAG Bench的方法由数据集构建和评估方法两部分组成。数据集构建从维多利亚司法学院的刑法典下载每个章节的Microsoft Word文档，转换为Markdown格式，利用复杂启发式方法将章节分解为完整层次结构，必要时使用semchunk语义分块算法进一步分块，确保每个分块不超过512个token。这构建了4,876个段落的语料库。然后随机采样段落，手工crafted 100个复杂的、有意义挑战性的问题，最大程度需要这些段落中的每一个来正确回答。问题起草时尽可能使其与相关段落在词汇上不相似，以压力测试被评估模型的语义理解能力。每个问题的长形式答案也由领域专家手工crafting，产生问题-答案-证据三元组。评估方法采用全因子实验设计，评估三个嵌入模型和两个LLM的所有组合，共6种模型组合。使用相同的基于Langchain的RAG pipeline，不修改任何默认超参数以最小化混淆变量。使用GPT-5.2在高推理模式作为裁判来评估LLM在答案和检索上下文上的表现，内部审查发现使用GPT-5.2作为裁判达到99%的准确率。
本文的核心创新是层次化错误分解框架，将RAG系统的失效模式分为三种类型：幻觉、检索错误和推理错误。幻觉定义为生成模型在其提供的上下文中发明不存在的事实。检索错误定义为嵌入模型未能检索到相关段落，导致生成模型产生基础但不正确的答案。推理错误定义为嵌入模型检索到相关段落，但生成模型仍然生成不正确的答案。这个框架的独特之处在于将幻觉作为第一优先级的失效模式，因为真实世界中幻觉或无依据的答案使得无法独立验证答案的正确性。另一个核心创新是只承认产生不正确答案的检索失败，因为如果生成模型的回答完全基于其检索的上下文并且该回答是正确答案，那么检索的上下文很可能是相关的，即使它不恰好包含Legal RAG Bench标记为最相关的特定段落。这与只关注检索准确率的传统评估方法形成对比。此外，本文还采用全因子实验设计，测试所有模型组合并报告交互效应，使用线性概率模型量化主效应、交互效应和估计不确定性。
方法步骤详情
方法步骤包括数据集构建、评估设计和统计分析三个阶段。数据集构建阶段首先从维多利亚刑法典下载Word文档并转换为Markdown，然后使用启发式方法分解章节层次结构，使用semchunk算法将文本分块为不超过512个token的段落，共构建4,876个段落的语料库。接着随机采样段落，由领域专家手工crafting 100个复杂问题，确保每个问题需要特定段落才能正确回答，并尽可能使问题与相关段落在词汇上不相似。最后为每个问题手工crafting长形式答案，形成问题-答案-证据三元组。评估设计阶段采用全因子设计，对于每个问题、嵌入模型和LLM，评估三个维度：正确性、基础性和检索准确性。使用GPT-5.2在高推理模式作为裁判，提供清晰的评估准则和尽可能明确的二元结果预测。统计分析阶段首先报告每个模型组合的平均正确性、基础性和检索准确性，然后计算模型级平均分数。使用层次化错误分解框架将错误分为幻觉、检索错误和推理错误。最后拟合线性概率模型，进行ANOVA风格的Wald检验，测试交互效应、LLM主效应和嵌入模型主效应，报告聚类稳健标准误。
技术新颖性
本文的技术新颖性体现在四个方面。第一个新颖性是问题-答案-证据三元组结构，这允许同时评估RAG系统的检索和生成组件，并在隔离状态下和联合状态下评估。大多数现有法律RAG基准测试只评估检索或生成中的一个组件，无法模拟真实世界RAG系统的复杂交互。第二个新颖性是层次化错误分解框架，将幻觉作为第一优先级的失效模式，这与传统评估只关注最终答案正确性形成对比。这个框架使得能够检测到只看整体RAG准确率会模糊的失效模式，如产生正确答案的幻觉。第三个新颖性是全因子实验设计和交互效应测试。大多数法律RAG评估不测试也不报告交互效应，但本文明确测试交互效应，这对于外部有效性至关重要，因为嵌入模型和LLM的组合可能存在匹配效应。第四个新颖性是三维评估框架，同时评估正确性、基础性和检索准确性。大多数RAG评估只关注最终答案的正确性，无法区分检索失败和推理失败。本文通过三个信号能够获得RAG系统每个组件有效性的可见性，检测如幻觉等失效模式。此外，本文还强调法律领域专业知识在基准测试设计中的关键作用，每个阶段都由法律和AI领域专家指导和参与，这与许多依赖自动化方法或缺乏专业知识的基准测试形成对比。
实验结果
实验结果清晰地表明嵌入模型的选择，而不是LLM的选择，主导法律RAG系统的性能。Kanon 2 Embedder作为表现最好的嵌入模型，实现了94.0%的平均正确性、96.0%的基础性和86.0%的检索准确性，比表现最好的LLM Gemini 3.1 Pro分别高出11.7个百分点、1.7个百分点和22.3个百分点。切换到OpenAI的Text Embedding 3 Large导致正确性下降17.5个百分点，基础性下降4.5个百分点，检索准确性下降34个百分点。LLM的选择对正确性和基础性有中等影响。Gemini 3.1 Pro平均实现比GPT-5.2高1.6个百分点的正确性和5.6个百分点的基础性。值得注意的是，当Kanon 2 Embedder与Gemini 3.1 Pro和GPT-5.2一起部署时，基础性差距显著缩小，GPT-5.2最终领先Gemini 3.1 Pro 2个百分点。这表明GPT-5.2可能更有可能在提供不相关上下文时产生幻觉。错误分解分析显示，糟糕的检索与幻觉增加强相关。相对于Text Embedding 3 Large，Gemini Embedding 001平均导致幻觉增加4.5个百分点。Kanon 2 Embedder，相反，比其通用替代方案平均减少幻觉6.75个百分点。这表明生成模型可能能够判断段落何时更可能正确或至少相关，在这种情况下，不太可能发明新事实来帮助提供答案。切换生成模型对幻觉也有中等影响，Gemini 3.1 Pro平均幻觉率为5.7%，GPT-5.2为11.3%。Kanon 2 Embedder的生成错误比例较高；然而，这可能是因为上游检索错误的急剧减少将失败转移到RAG pipelines的生成层。换句话说，不是糟糕的检索模型限制了生成模型的端RAG性能，而是劣质的生成模型现在限制了高质量检索模型的端RAG性能。总体RAG准确性分析显示，Kanon 2 Embedder相对于样本平均交付18%更好的整体RAG准确性。GPT-5.2和Gemini 3.1 Pro，相反，分别影响准确性-3%和+3%。这些结果强化了嵌入模型选择是RAG性能的主要驱动因素，当考虑到假阳性幻觉时影响甚至更显著。统计分析显示，在所有三个结果上，嵌入模型主效应在统计上显著，表明嵌入模型的选择占性能变化的很大份额。相比之下，LLM主效应在正确性或正确性和基础性两者上在统计上与零没有区别。唯一LLM选择在平均上重要的结果是基础性，其中LLM主效应是显著的。有趣的是，基础性也是唯一具有可检测嵌入模型-LLM交互的指标。这意味着基础性差异在嵌入模型之间不稳定，不应由单个全局LLM排名总结。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 法律RAG端到端评估 | 正确性 | 94.0 (Kanon 2 Embedder) | 82.3 (Gemini 3.1 Pro) | +11.7 |
| 法律RAG端到端评估 | 基础性 | 96.0 (Kanon 2 Embedder) | 94.3 (Gemini 3.1 Pro) | +1.7 |
| 法律RAG端到端评估 | 检索准确性 | 86.0 (Kanon 2 Embedder) | 63.7 (Gemini 3.1 Pro) | +22.3 |
| 幻觉率 | 幻觉率 | 5.7 (Gemini 3.1 Pro) | 11.3 (GPT-5.2) | -5.6 |
| 幻觉率 (Kanon 2 Embedder) | 幻觉率 | 5.7 (Kanon 2 x Gemini 3.1) | 25.0 (Text Emb 3L x Gemini 3.1) | -19.3 |
局限与改进
作者承认的局限性包括数据集仅限于维多利亚刑法领域，虽然包含4,876个段落和100个问题，但样本规模相对较小。实验选择的嵌入模型和LLM可能无法代表所有性能水平，特别是Kanon 2 Embedder是由Isaacus创建的，Isaacus也是作者的创始公司，这可能带来潜在的利益冲突。虽然作者声明这不会影响结果的科学性，但独立验证仍然重要。此外，实验使用的RAG pipeline是基于Langchain的基础实现，没有针对任何特定模型进行超参数调优，这可能不利于某些模型的表现。评估依赖于GPT-5.2作为裁判，虽然内部审查显示99%的准确率，但LLM-as-a-Judge方法仍然存在潜在偏差。错误分解框架虽然在概念上清晰，但在实际操作中可能存在边界模糊的情况，例如当检索到的段落部分相关但不充分时，如何归类错误可能存在主观性。作者自己的观察是，许多归因于幻觉的错误实际上是由检索失败引起的，这意味着RAG系统的性能很大程度上受限于检索质量，而不是生成模型的推理能力。这暗示了即使继续改进LLM的推理能力，如果检索准确性没有相应提升，整体RAG性能的提升也会受限。此外，研究发现嵌入模型和LLM之间存在交互效应，特别是在groundedness指标上，这意味着模型组合的选择比单独选择最好的嵌入模型或LLM更重要，但本文只测试了有限的模型组合，无法覆盖所有可能的交互效应。
独立分析的弱点
论文的一个独立分析弱点是样本规模有限，只有100个问题，虽然问题质量很高但可能无法覆盖法律RAG系统的所有应用场景。例如，不同类型的法律问题可能需要不同的检索策略和推理能力，但本文只关注刑法领域的特定问题。另一个弱点是地理和领域的局限性，数据集仅限于维多利亚刑法，虽然作者选择这个领域是因为它与刑事律师日常工作密切相关，但其他法律领域可能有不同的检索需求和推理模式，结果可能无法推广。实验设计的另一个潜在弱点是只测试了三个嵌入模型和两个LLM，虽然这些模型代表了当时的前沿水平，但可能有其他表现更好的模型没有包含在实验中。特别是，Kanon 2 Embedder的优异表现可能部分归因于其专门为法律领域优化，但论文没有与其他法律专用的嵌入模型进行比较。评估方法的另一个弱点是使用GPT-5.2作为裁判，虽然内部审查显示99%的准确率，但LLM-as-a-Judge方法仍然存在潜在偏差，特别是在评估生成回答的正确性时，裁判模型可能对某些类型的错误更敏感。改进方向包括扩大数据集规模和多样性，涵盖更多法律领域和地理范围；测试更多模型组合，特别是其他法律专用的嵌入模型；开发更细粒度的评估方法，如评估检索段落的详细程度和相关性；在真实场景中评估RAG系统，如模拟律师使用RAG系统解决实际案例的过程；长期跟踪RAG系统的性能，评估模型更新和语料库扩展对性能的影响。
未来方向
作者提出的未来研究方向包括将Legal RAG Bench添加到MLEB中，进一步改进法律信息检索评估的状态。鼓励复现研究结果，代码和数据已在Hugging Face和GitHub上公开。基于本文成果可以延伸的研究方向包括：扩展Legal RAG Bench到其他法律领域，如民法、商法、国际法等，创建更全面的法律RAG基准测试；研究不同检索策略对RAG性能的影响；探索更细粒度的错误类型，如检索到部分相关但不充分的段落时的错误归类；研究RAG系统在真实场景中的表现，如律师使用RAG系统解决实际案例的过程；评估RAG系统的长期性能稳定性，如模型更新和语料库扩展对性能的影响；研究如何降低RAG系统的幻觉率，特别是当检索质量较差时的幻觉控制；探索更复杂的RAG架构，如多步推理、知识图谱增强等，对端到端性能的影响；研究不同语言和文化背景下的法律RAG系统性能差异；开发更自动化的RAG评估方法，减少对人工裁判的依赖；研究RAG系统的可解释性，如何向用户展示检索证据和推理过程；评估RAG系统的安全性，如防止恶意检索注入和对抗性攻击；研究RAG系统与其他AI技术的结合，如知识图谱、符号推理等。
复现评估
论文的可复现性评估显示作者高度重视开放科学，已公开发布所有相关资源。Legal RAG Bench数据集在Hugging Face上公开可用，网址为https://huggingface.co/datasets/isaacus/legal-rag-bench。代码在GitHub上公开可用，网址为https://github.com/isaacus-dev/legal-rag-bench。作者还在博客文章中展示所有结果的交互式查看器，网址为https://isaacus.com/blog/legal-rag-bench。数据集包含4,876个来自维多利亚刑法典的段落和100个问题-答案-证据三元组，格式清晰，易于使用。代码使用基于Langchain的RAG pipeline实现，没有针对任何特定模型进行超参数调优，这使得复现实验相对直接。评估使用GPT-5.2作为裁判，虽然作者没有公开具体的提示词，但描述了清晰的评估准则和二元结果预测方法。统计分析使用线性概率模型和ANOVA风格的Wald检验，这些方法在统计学文献中有详细描述，易于实现。论文还报告了详细的实验结果，包括每个模型组合的正确性、基础性、检索准确性分数，以及错误分解的详细分析。论文声明Isaacus创建了Kanon 2 Embedder并赞助了Legal RAG Bench和MLEB的创建，这是一个潜在的利益冲突，但作者承诺不会影响结果的科学性。总体而言，论文的可复现性评估显示作者提供了充分的信息和资源，独立研究者应该能够复现本文的结果。然而，需要注意的是，使用GPT-5.2作为裁判可能需要API访问权限和成本，这可能限制一些研究者的复现能力。此外，虽然数据集和代码公开，但原始的维多利亚刑法典文档可能需要单独获取，虽然这些文档通常是公开的政府文件。
论文图表