AACR-Bench：基于仓库级全量上下文的自动代码评审评估基准 AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context
首个多语言仓库级上下文感知的ACR评估基准，揭示LLM代码评审新见解
前置知识
自动代码评审
自动代码评审是指利用大语言模型自动生成代码评审意见的技术。与传统人工代码评审不同，ACR系统能够自动分析代码变更，识别潜在缺陷、安全漏洞、性能问题和可维护性问题，并生成相应的评审意见。现代ACR方法主要包括预训练模型、微调策略、强化学习优化以及基于Agent的框架。
本文的核心研究对象就是ACR系统，理解ACR的基本概念和工作原理是理解本文研究动机和方法的基础。
仓库级上下文
仓库级上下文指的是在进行代码评审时，系统能够访问整个代码仓库的依赖信息，包括其他文件的代码、PR元数据以及跨文件的调用关系。这与传统的Diff级或File级上下文形成对比。仓库级上下文对于检测跨文件缺陷至关重要，因为许多代码缺陷本质上是跨文件的，需要理解整个仓库的结构才能准确检测。
本文的一个核心创新点就是提供了仓库级上下文支持，这是现有基准所缺乏的。理解仓库级上下文的概念对于理解本文的方法和实验结果至关重要。
检索增强生成
检索增强生成是一种结合信息检索和生成模型的技术。在代码评审场景中，RAG系统首先根据当前的代码变更，从代码库中检索相关的上下文信息，然后将这些上下文与原始代码变更一起输入到LLM中，以生成更准确的评审意见。常见的检索方法包括BM25基于词频的经典方法和Embedding基于向量相似度的语义检索。
本文比较了不同的上下文检索方法对ACR性能的影响，理解RAG的基本原理有助于理解这些比较实验的意义。
Agent方法
Agent方法是指利用LLM Agent框架进行代码评审的方法。与传统的被动接收预检索上下文不同，Agent能够自主决定需要访问哪些代码文件、调用哪些工具，并通过多轮交互来验证问题是否真实存在。这种主动探索的方式更接近人类专家的评审行为，能够更好地处理复杂的跨文件依赖关系。
本文发现Agent方法在仓库级问题上表现出与传统方法截然不同的趋势，这是本文最重要的发现之一。
精度和召回率
在代码评审评估中，精度是指模型生成的评审意见中正确比例，召回率是指Ground Truth中的问题被模型成功检测到的比例。F1分数是精度和召回率的调和平均数，用于综合评估模型性能。在实际应用中，高精度意味着减少误报，高召回率意味着减少漏报，两者往往需要权衡。
本文使用这三个指标来评估不同ACR方法的性能，理解这些指标的含义对于理解实验结果至关重要。
研究动机
现有的自动代码评审评估基准存在两个关键限制。首先，大多数基准直接使用真实世界历史PR的原始评审评论作为Ground Truth，导致问题覆盖范围有限。GitHub上的PR评审往往不完整，许多潜在缺陷被人工评审者遗漏。研究表明，原始PR评论只能覆盖约三分之一的实际代码问题。其次，现有基准缺乏多语言支持的仓库级上下文。虽然一些基准提供了跨文件上下文感知，但它们主要局限于单一编程语言如Python，这限制了评估结果的通用性。例如CodeFuse-CR-Bench和SWR-Bench都只支持Python，而ContextCRBench虽然支持9种语言但只提供文件级上下文。
本文的目标是本文的目标是创建一个更全面、更可信的自动代码评审评估基准，能够准确评估LLM在真实世界代码评审场景中的能力。具体目标包括三个方面：第一，通过AI辅助和人工专家验证的标注流程，将问题覆盖范围提高至少两倍；第二，提供仓库级上下文支持，涵盖至少10种主流编程语言；第三，揭示主流LLM在代码评审任务中的真实能力边界，为未来研究提供指导。
与已有工作不同的是，本文的独特切入角度在于AI辅助加人工专家验证的标注流程。不同于直接使用原始PR评论，本文利用六个主流LLM并行生成评审意见，然后通过八十名资深软件工程师进行严格验证。这种人机协作的方式使得问题覆盖范围增加了百分之二百八十五。此外，本文创新性地标注了每个评审意见所需的上下文级别，包括Diff级、File级和Repo级，这使得能够精细分析不同上下文深度下ACR方法的能力，揭示了传统方法与Agent方法在处理不同上下文级别问题时的根本差异。
核心方法
AACR-Bench的构建遵循一个系统化的流程。首先从StackOverflow 2025开发者调查中选取前十种编程语言，包括JavaScript、Python、TypeScript、Java、C Sharp、C Plus Plus、C、PHP、Go和Rust。然后为每种语言在GitHub上选取五个最活跃的仓库，基于新星数和关闭的PR数进行排序，共五十个仓库。从这些仓库中提取2024年12月至2025年12月期间的PR，经过严格筛选后构建核心数据集。为了弥补原始PR评审的不完整性，采用多模型生成和人工验证相结合的方式扩充评审意见。
本文的核心创新点在于多模型生成加大规模人工验证的标注流程，以及仓库级上下文支持。不同于现有基准直接使用原始PR评论，本文构建了一个生成矩阵，使用六个主流LLM通过两个异构框架并行生成评审意见。生成的评论经过语义去重后，与从原始PR中增强的人工评论合并，形成候选集。然后由八十名资深软件工程师进行严格验证，每条评论至少由两名标注员独立标注，分歧由六人核心团队讨论解决。这种多轮验证机制确保了Ground Truth的高质量和可靠性。
方法步骤详情
方法步骤包括四个阶段。第一阶段是语言和仓库选择，选取十种主流编程语言，每种语言选取五个最活跃仓库。第二阶段是PR筛选和评论增强，从仓库中提取PR，应用五个筛选标准包括英文标题、变更行数不超过一千行、主要语言匹配、包含至少两个内联评论等，使用LLM对多轮对话进行深度语义分析，提取确认的代码缺陷并重组为增强评审评论。第三阶段是评审完成和专家标注，使用六个LLM并行生成评审意见，进行语义去重，由八十名工程师进行三轮标注采用双盲机制。第四阶段是数据集统计，最终包含两百个PR、一千五百零五个细粒度评审评论，覆盖十种编程语言。
技术新颖性
本文的技术新颖性主要体现在三个方面。首先，首次提出多语言、仓库级上下文感知的ACR评估基准，填补了现有基准在语言多样性和上下文深度方面的空白，成为该领域首个综合性评估平台。其次，创新性地采用AI辅助加人工专家验证的标注流程，通过多模型生成和大规模人工验证，将问题覆盖范围提高了百分之二百八十五，显著提升了Ground Truth的完整性。最后，创新性地标注了每个评审意见所需的上下文级别，使得能够精细分析不同上下文深度下ACR方法的能力，这一维度的引入为理解ACR方法的实际能力提供了全新视角。
实验结果
本文对五个主流LLM在四种上下文检索方法上的性能进行了全面评估，揭示了几个关键发现。第一，Agent方法生成的评审评论数量远少于其他方法，平均每个补丁仅生成零点零八到零点一五个评论，而传统方法生成零点八三到二点五个评论，但Agent方法的精度显著更高，例如Claude四点五在Agent模式下精度为百分之三十九点九。第二，上下文检索并非普遍有益，对于具有强大内在推理能力的模型，朴素的RAG可能引入有害噪声，Claude四点五在No context模式下F1为百分之十四点四六，使用BM25后下降至百分之九点九八。第三，不同模型对检索策略有不同偏好，DeepSeek在BM25下表现最佳，而Qwen在Embedding下达到峰值。第四，Agent方法在仓库级问题上的表现优于差异级问题，呈现反向趋势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 自动代码评审整体性能 | F1分数语义匹配 | Claude四点五加Agent达到百分之十六点一二 | GPT五点二加Agent仅百分之四点五九 | Claude在Agent模式下F1分数比GPT高出百分之二百五十一 |
| 自动代码评审精度 | Precision语义匹配 | Claude四点五加Agent达到百分之三十九点九 | GPT五点二加Agent仅百分之九点九 | Claude在Agent模式下精度比GPT高出百分之三百零三 |
| 自动代码评审召回率 | Recall语义匹配 | GPT五点二加No context达到百分之四十七点一一 | Claude四点五加Agent仅百分之十点一 | GPT在No context模式下召回率比Claude在Agent模式下高出百分之三百六十六 |
| 仓库级问题检测 | Recall Repo级别 | Claude四点五加Agent达到百分之十三点七七 | Claude四点五加No context为百分之三十八点六三 | Agent模式在Repo级别上展现了主动探索的优势 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，虽然利用LLM生成评审意见来扩充数据集，但构建一个完全全面的Ground Truth仍然是一个巨大挑战，因为真实世界软件系统具有固有的复杂性和主观性，某些问题可能只有特定领域的专家才能识别。其次，本文的评估基于特定的LLM版本和检索方法，随着技术的快速发展，实验结果可能会过时。此外，本文主要关注代码评审的发现问题能力，而没有深入评估评审意见的质量如可操作性和具体性等。最后，本文的实验设置假设所有实验都基于上下文信息，这可能不适用于所有实际应用场景。
独立分析的弱点
本文的弱点包括四个方面。第一，数据集规模相对有限，仅包含两百个PR和一千五百零五个评审评论，可能无法完全代表真实世界中更加多样化和复杂的代码评审场景。第二，人工标注成本高昂，需要八十名工程师参与，可扩展性有限，难以快速更新和扩展数据集。第三，评估指标主要基于精确匹配，可能无法完全捕捉语义相似但表述不同的评审意见，导致某些有效评审被错误地判定为不匹配。第四，实验主要关注英文代码评审，对于非英文注释或文档的代码可能适用性有限，特别是在中文、日文等语言的开源项目中。
未来方向
作者提出的未来工作方向包括四个方面。第一，进一步扩展数据集规模，探索更先进的半自动化方法来提高Ground Truth质量，降低人工标注成本。第二，开发自适应上下文感知系统，能够根据代码特性和任务类型动态决定检索的必要性和粒度，而不是采用一刀切的检索策略。第三，统一局部和全局视角，开发动态注意力机制，有机整合微观语法验证与宏观跨文件风险评估。第四，从被动代码摄入转向主动代码审计，使模型能够主动探索上下文、通过多轮交互验证假设、过滤噪声，这代表了ACR系统的范式转变。
复现评估
本文的复现性较好。作者承诺将代码、数据和其他评估材料在GitHub上开源，仓库地址为github dot com slash alibaba slash aacr-bench。实验设置详细描述了评估流程、模型版本、超参数设置等关键信息，包括温度设置为零点七、Top P设置为零点九五、Top K设置为二十。然而，大规模人工标注需要八十名工程师，成本较高，可能限制了完全复现的可行性。此外，实验依赖于特定版本的LLM API，随着模型更新，复现结果可能存在差异，建议研究者使用论文中指定的模型版本进行实验。
论文图表
