AGORA：基于归档的智能体工作场所文档推理基准 AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning
首个跨领域评估大模型智能体在真实工作场所归档中推理能力的基准
前置知识
智能体
智能体是指能够自主规划、执行工具调用并与环境交互的大语言模型系统。不同于传统的聊天机器人，智能体具有行动能力，可以调用搜索工具、文件系统、代码解释器等外部工具来完成复杂任务。智能体的核心特征是将推理与行动交织在一起，通过多轮工具调用来实现目标。例如，一个智能体可能先使用grep搜索文件，然后用python3执行计算，最后提交答案。这种架构使得大模型能够突破参数知识的限制，与外部世界进行真实交互。
本文研究的是智能体在真实工作场所归档中的推理能力，而非简单的阅读理解。理解智能体的工具调用机制、探索策略和资源管理方式，对于理解本文提出的AGORA基准测试的设计理念至关重要。AGORA评估的正是智能体在有限的上下文窗口和交互轮次约束下，如何在大量混乱的文档中进行有计划的探索和推理。
归档推理
归档推理是指在一个固定的大型文档集合中定位稀疏证据、整合不一致信息并计算答案的能力。与开放网络搜索或参数知识问答不同，归档推理要求智能体在限定的证据池中工作，必须主动探索文件系统、识别相关文档、协调术语单位差异，并执行多步计算。例如，财务分析师需要跨越多年报告验证数字，法律研究员需要追踪相关条款和判例。归档推理的核心挑战在于证据的稀疏性和不一致性，智能体必须在不相关的大量材料中找到关键线索，并解决不同文档间的术语冲突。
AGORA的核心创新点就是归档推理，这是本文与现有基准测试的关键区别。理解归档推理的特点（固定证据池、稀疏证据分布、多文件协调、不一致性解决）是理解AGORA设计动机和评估结果的基础。实验显示，即使是当前最强的模型也仅达到59.4%的准确率，说明归档推理对当前智能体系统仍是一个重大挑战。
多跳推理
多跳推理是指需要通过多个中间步骤将分散在不同来源的信息连接起来才能解决问题的能力。每一步推理都依赖前一步的发现，形成一条证据链。例如，要回答某公司2023年的营收增长率是多少，可能需要先找到2022年的营收数字，再找到2023年的数字，最后计算增长率。多跳推理的挑战在于智能体必须知道每一步该去哪里查找信息，以及如何将不同来源的信息正确关联起来。在工作场所场景中，多跳推理通常涉及跨文档的证据收集，如从统计年鉴获取数据，从政策文件获取计算规则，从行业报告获取基准值。
AGORA中的所有任务都是多跳推理任务，需要智能体在不同文档间建立桥梁。本文的构建流程专门设计了cross-document bridging fact识别和leakage prevention，确保任务真正需要多跳推理。理解多跳推理的机制和挑战，有助于理解AGORA任务设计的复杂性以及评估结果反映的智能体能力短板。
检索增强生成
检索增强生成是一种将外部知识检索与大语言模型生成结合的技术。当用户提出问题时，系统首先从文档库中检索相关文档片段，然后将这些片段与问题一起输入大模型进行推理和回答。RAG的核心优势在于可以减少模型的幻觉、提供可追溯的证据来源、并允许动态更新知识而无需重新训练模型。传统RAG通常依赖向量相似度检索，而智能体RAG则通过主动探索和工具调用来获取证据，更加灵活但也更复杂。RAG系统需要解决的关键问题包括检索粒度、片段排序、上下文整合和答案生成等。
AGORA本质上是一个RAG评估基准，但它与传统RAG基准（如HotpotQA、MuSiQue）的关键区别在于强调智能体的主动探索而非被动检索。理解RAG的基本原理和现有局限性，有助于理解AGORA的定位和价值——它评估的是更接近真实生产环境的智能体RAG能力，而非简单的检索-阅读流水线。
上下文窗口
上下文窗口是指大语言模型能够处理的最大输入长度，通常以token数量衡量。当前主流模型的上下文窗口从几千到几十万token不等，但即使是最大的窗口也无法容纳AGORA中每个领域的全部文档（最小领域22M token，最大117M token）。因此智能体必须进行选择性探索，先定位相关文件再读取其内容。上下文窗口的限制使得智能体必须具备规划能力和信息筛选能力，无法简单地扫描所有材料。这在工作场所场景中尤为关键，因为真实归档通常远超任何模型的上下文容量。
AGORA的每个领域文档集合都远超模型上下文窗口，这是设计的核心约束之一。理解上下文窗口的限制，有助于理解为什么AGORA评估的是智能体的探索策略而非简单的阅读理解能力，以及为什么较长的交互轨迹往往意味着方向迷失而非渐进收敛。
研究动机
现有基准测试无法全面评估大语言模型智能体在真实工作场所场景中的归档推理能力。多跳问答基准（如HotpotQA、MuSiQue、FRAMES）依赖Wikipedia等同质化语料库，不涵盖工作场所归档的文件格式多样性和组织不规则性。文档问答和表格问答基准（如TAT-QA、FinanceBench）通常被构建为阅读理解任务，不需要智能体导航文件系统或在异质文档上执行多步计算。智能体和网络浏览基准（如GAIA、BrowseComp、WebArena）主要在开放网络或模拟环境中操作，而非在受限的内部归档上工作。最接近的工作是OfficeQA Pro，但它基于单一外部来源，限制了领域和文件格式的覆盖范围。这导致评估结果无法真实反映智能体在企业环境中的实际能力。
本文的目标是本文的目标是创建一个基准测试，评估大语言模型智能体是否能够在真实的工作场所设置中执行归档推理。具体而言，AGORA需要同时满足归档化、智能体探索和跨领域覆盖三个核心要求：每个任务必须仅使用固定的源集合C可回答，而不需要开放网络访问；任务必须端到端测试智能体的探索规划、长范围证据链收集和证据协调能力；基准必须跨越广泛的专业领域，测量文档推理能力是否具有泛化性。每个任务都有一个唯一的、可验证的数值答案，能够进行确定性和可重复的评估，无需人工或模型判断。
与已有工作不同的是，本文的独特切入角度是聚焦于真实的内部归档推理，这是企业中实际知识工作的核心场景，但现有基准未能覆盖。真实归档推理不是在平面语料库上的简单阅读理解任务，而是一个稀缺条件下的搜索验证过程。AGORA包含362个自然语言查询，分布在8个领域特定的集合中，涵盖9,664个真实世界文档和372M tokens。对于每个查询，智能体只能访问其配对的集合，必须导航文件结构、定位稀疏证据、执行计算以推导答案。由于每个集合远大于当前模型的上下文窗口，智能体无法依赖全面扫描或浅层关键词匹配，必须进行有计划的探索。这一设定填补了现有基准的空白，首次同时强调归档化、智能体探索和跨领域覆盖。
核心方法
AGORA的构建流程分为三个阶段：数据收集与预处理、任务合成、质量控制。第一阶段从多个专业领域收集真实的工作场所文档，通过格式特定的规则进行分块处理，并将高质量片段存储在向量数据库中。第二阶段基于这些片段合成多跳任务，通过改进和混淆两个阶段增强任务质量，确保任务真正需要跨文档推理且没有答案泄露。第三阶段通过难度过滤和多检查验证（包括智能体检查和人工检查）进行质量控制，最终产生362个高质量任务。整个流程由Codex基础的智能体驱动，实现了规模化的高质量任务合成。
AGORA的核心创新在于其三阶段构建流程，特别是任务合成阶段的设计。与现有基准依赖人工标注或简单模板不同，AGORA采用智能体驱动的跨文档任务合成，通过向量数据库检索跨文档证据并起草问题。改进阶段确保一致性、自然性和无歧义性，同时保持内在难度；混淆阶段消除残留的词汇泄露和结构泄露，将暴露的术语和实体名称重写为业务角色描述或等价表达，同时保留原始的跨文件依赖结构。这种设计确保AGORA任务真正需要智能体进行归档推理，而非简单查找或参数知识回忆。此外，AGORA的跨领域覆盖设计（8个专业领域）使得性能评估能够揭示模型在不同领域上的系统性弱点，这是单源基准无法实现的。
方法步骤详情
AGORA的构建流程包含详细步骤。数据收集与预处理：基于官方职业分类系统提炼8个主要领域种子，深度搜索智能体检索语义相关的Web文档，从候选列表中验证并下载最终文档集合。收集的文档跨越四种格式（PDF、Markdown、Excel、CSV），通过格式特定规则分块。PDF转换为Markdown并分组为五页窗口；Markdown文件token化为8000-token滑动窗口（800-token重叠，7200-token步长）；Excel每个非空工作表成为一个表格配置文件块；CSV文件解析为单个工作表并映射为块。所有格式归一化为纯文本，按领域整合为单个JSON文件。每个块通过信息密度启发式评分（优先数值、表格和时间序列内容），保留每个领域的前100个块作为种子块。使用GPT分析块，在三个层次（块、文档、领域）生成摘要和标签，编码为密集向量并索引在向量数据库中。任务合成：给定种子块，智能体通过向量数据库的语义搜索工具和约束集（如禁止推理捷径、最小跳数、答案泄露标准）探索领域语料库，识别跨文档桥梁事实，生成候选任务及其参考推理路径和验证代码，并进行自检查。改进阶段执行一致性、自然性和无歧义性检查，智能体尝试问题以评估可答性和泄露，检查问题陈述、推理链和参考答案的对齐，审计跨文件覆盖等属性。未通过检查的问题被重写。混淆阶段消除残留泄露，通过攻击测试标记词汇泄露（词干术语在一两次搜索内检索证据）和结构泄露（求解器应推断的实体直接陈述），将暴露的术语和实体名称重写为业务角色描述或等价表达，每次重写都重新测试确认移除。质量控制：首先在闭书设置中呈现任务给DeepSeek-V4-Pro，任何仅可从参数知识解决的任务被丢弃。幸存任务由三模型面板评估，任何被三个模型解决的任务被淘汰以确保足够难度。Codex在两种条件下审查每个任务：仅基于查询，以及基于查询和合成中的参考推理路径。只有通过验证的任务被保留。最后进行基于查询和参考推理路径的人工标注，产生362个任务的精选集。
技术新颖性
AGORA的技术新颖性体现在多个方面。首先，它首次实现了跨领域、大规模、真实工作场所文档归档的智能体推理评估，填补了现有基准的空白。其次，其智能体驱动的构建流程（特别是任务合成和混淆阶段）实现了规模化的高质量任务生成，确保任务真正需要跨文档推理且没有答案泄露。第三，AGORA的跨领域设计使得性能评估能够揭示模型在不同领域上的系统性弱点，如Gemini-3.1-Pro在Finance领域仅41.03%，而GPT-5.5在Business领域仅38.00%，这种领域间性能反转是单源基准无法捕捉的。第四，AGORA采用单一可验证数值答案的设计，实现了确定性和可重复的评估，避免了人工或模型判断的噪声和成本。最后，AGORA在统一的极简工具框架中评估所有模型，隔离了模型能力与脚手架工程的影响，使得比较更公平。
实验结果
AGORA远未饱和，性能分为两个明显层级。八个模型中没有一个超过60%：即使是最强的Gemini-3.1-Pro也仅正确回答59.39%的查询。由于每个任务都有一个仅从挂载集合可解的单一可验证数值答案，这一差距不反映格式假象，而是真正的能力缺陷：基于归档的智能体文档推理对当前模型仍未解决。八个模型进一步分为两个明显分离的层级。五个前沿模型占据40-60%区间，其余三个远低于该区间。层级间的差距为28.73个百分点，超过任一层级内部的差距。较低层级在各个领域上也并非均匀落后，而是在某些领域接近下限。Qwen3.5-9B在八个领域中的五个上得分小于等于3%，Gemini-3.1-Flash-Lite在六个领域上得分小于等于7%。跨领域准确率变化并重新排序了排行榜。总体准确率掩盖了两种实质性的跨领域变化。没有模型是均匀强的：总体领导者Gemini-3.1-Pro在Finance领域降至41.03%，GPT-5.5在Business领域降至38.00%。强大的总体表现仍可能掩盖模型在弱领域上的不可靠行为。跨领域排名与总体排名分歧：Gemini-3.1-Pro在八个领域中的五个上排名第一，但在Finance上仅排名第四，落后于GLM-5.1、GPT-5.5和DeepSeek-V4-Pro。DeepSeek-V4-Pro总体落后GPT-5.5 8.8个百分点，但在Business上超越它。这种不平衡并未随模型规模而减弱。前沿模型中最强的也是最不均匀的。Gemini-3.1-Pro总体领先但拥有最广的分布，其最佳和最差领域之间的差距为30.97个百分点。总体实力和领域平衡是不同的轴，单一头条数字掩盖了后者。失败模式分析显示，几乎所有模型的错误都由三个基于证据的类别（不完整检查II、证据错误识别EM、指令不遵循INF）主导，表明瓶颈在于定位和应用证据而非计算或发明。资源耗尽是模型特定的：GPT-5.5的首要失败占24.59%，DeepSeek-V4系列接近零（小于等于1.10%），Gemini-3.1-Flash-Lite则是灾难性的69.61%。幻觉在前沿层级中保持在12%以下，但对于小模型攀升至约40%，表明层级差距反映的是证据纪律而非推理深度。交互轮次分布显示，正确结果集中在低到中等轮次计数，而深入延伸到预算的情节主要是错误的。这种倾斜表明延长的轨迹更常反映方向迷失（重复、无效探索）而非渐进收敛于解决方案。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Overall Accuracy on AGORA | Accuracy (%) | 59.39 (Gemini-3.1-Pro) | 54.70 (GPT-5.5), 50.00 (GLM-5.1) | Best model reaches only 59.4%, far from solved |
| Finance Domain Accuracy | Accuracy (%) | 41.03 (Gemini-3.1-Pro) | 53.85 (GPT-5.5), 56.41 (GLM-5.1) | Overall leader struggles (41.03%), revealing domain weakness |
| Business Domain Accuracy | Accuracy (%) | 42.00 (DeepSeek-V4-Pro) | 38.00 (GPT-5.5), 72.00 (Gemini-3.1-Pro) | Rank inversion: DeepSeek-V4-Pro beats GPT-5.5 despite trailing overall |
| Resource Exhaustion Failure Mode | Percentage of wrong traces | 24.59% (GPT-5.5), 69.61% (Gemini-3.1-Flash-Lite) | <=1.10% (DeepSeek-V4 family) | Highly model-specific, reveals context window handling differences |
局限与改进
作者承认的局限性包括：AGORA跨越了从官方职业分类系统提炼的八个专业领域，虽然比先前的单源基准更广，但并非所有工作场所设置的穷尽覆盖。查询数量（362个）保持适度以优先考虑每个任务的质量，每个查询都通过多阶段难度过滤、自动验证和人工标注。通过闭书过滤阶段丢弃仅可从参数知识解决的任务，确保当前模型必须真正推理挂载集合。然而，随着模型规模的扩大，预训练语料库可能吸收更多此类文档，削弱保证；因此作者将管道视为可重复使用的工具，并希望它可以用新集合刷新基准。相关警告涉及难度过滤面板本身：三个面板模型中的两个也是评估对象，因此丢弃它们共同解决的任务可能略微使基准偏向它们。作者通过移除仅被所有三个面板模型解决的任务来缓解这一问题，这是一个刻意的狭窄标准，但完全无偏的构建需要与评估集合不连续的过滤面板。最后，所有模型都在暴露仅有bash工具的单一极简工具框架中评估，这是一个将模型能力与脚手架工程隔离的刻意选择。绝对准确率在更重的框架下可能发生变化；由于工具框架设计对真实智能体部署很重要，作者将对其影响的系统性研究留待未来工作。作者的观察包括：AGORA显示智能体归档推理能力远未解决，即使是最强的模型也仅达到59.4%准确率。跨领域性能变化显著，单一总体准确率掩盖了模型在不同领域上的系统性弱点。失败模式主要由基于证据的类别主导，表明瓶颈在于定位和应用证据而非计算或幻觉。交互轮次分布显示延长的轨迹更常反映方向迷失而非渐进收敛。
独立分析的弱点
AGORA的查询数量相对较少（362个），虽然每个任务质量很高，但可能不足以全面覆盖各个领域的所有推理模式。随着模型预训练语料库的增长，基准文档可能被逐渐吸收，削弱闭书过滤对知识泄露的防护，导致评估结果随时间漂移。难度过滤面板中的模型也是评估对象，可能引入潜在偏见，尽管作者通过仅移除被所有三个模型解决的任务来缓解这一问题。所有模型在极简工具框架中评估，隔离了模型能力与脚手架工程的影响，但绝对准确率在更重的框架下可能发生变化，可能低估智能体在真实部署环境中的能力。跨领域覆盖虽广（8个领域），但并非所有工作场所设置的穷尽覆盖，某些专业领域或跨领域组合可能未被充分代表。改进方向：可以定期用新文档集合刷新基准，保持其难度和相关性；使用与评估集合完全分离的过滤面板，消除潜在偏见；设计系统性的框架变体实验，量化工具框架设计对性能的影响；扩展领域覆盖以包括更多专业场景；增加任务数量以提供更全面的覆盖。
未来方向
作者提出的未来工作方向包括：研究工具框架设计对智能体性能的系统性影响，因为框架设计对真实智能体部署很重要。扩展AGORA到更多专业领域，以提供更全面的覆盖和泛化性评估。开发更高级的智能体策略和脚手架技术，以提高在归档推理任务中的表现。研究如何减轻预训练语料库增长带来的知识泄露问题，可能通过更严格的泄露检测或动态文档刷新。基于AGORA的成果可延伸的方向包括：研究跨领域迁移学习，如何提高智能体在多样化工作场所场景中的泛化能力；开发领域自适应的智能体策略，针对不同领域优化探索和推理模式；研究多智能体协作在归档推理任务中的潜力，可能通过专业化分工提高效率；开发更精细的失败模式诊断工具，帮助智能体系统开发者识别和修复特定瓶颈；研究人类在归档推理任务中的表现模式，以启发更好的智能体设计。
复现评估
AGORA具有很好的可复现性设计。每个任务都有一个单一可验证的数值答案和指定的输出格式，响应可以通过归一化表面格式差异与真实值进行核对，无需人工或模型判断。固定集合使基准可复现：可用证据不会随时间漂移。所有任务运行在具有2 vCPU、4GB内存、无网络访问和3600秒超时的隔离E2B沙盒中。沙盒从固定的Docker模板构建，扩展官方e2bdev/base镜像，带有Python 3解释器、几个命令行实用程序和固定的科学计算和文档解析库集。工作目录为/workspace，文档集合在/workspace/documents，/workspace/run为草稿空间。所有包版本在模板中固定，因此环境在评估运行间稳定。每个情节上限为200个交互轮次和3600秒超时，当智能体发出标签或耗尽轮次、时间或上下文预算时终止。任何以有效标签结束的情节被计为不正确。不强制统一上下文窗口限制，每个模型在其自身原生最大上下文长度下操作。所有模型在温度1.0下运行，推理努力设置为最大支持值。Qwen模型使用SGLang本地服务，其余模型通过各自官方API提供商访问。这种严格的环境控制使得AGORA评估具有良好的可复现性。然而，作者未明确说明数据集是否开源，仅提到数据集仅用于学术研究目的，是从研究目的访问的数据派生而来，不得在任何商业或非研究环境中使用，符合原始访问条件。
论文图表
这张图展示了AGORA的整体概况。左侧是八个专业领域的堆叠柱状图（Agri 13%、Arch 10%、Biz 10%、Edu 14%、Fin 31%、Health 14%、Law 8%、Tech 20%），显示了不同领域在token数量上的分布。中间是两个数字：#Tokens 372M和#Questions 362。右侧是八个模型的准确率条形图，从高到低排列：GPT-5.5 54.70%、GLM-5.1 50.00%、DeepSeek-V4-Pro 45.86%、DeepSeek-V4-Flash 40.06%、Qwen3.5-35B-A3B 11.33%、Gemini-3.1-Flash-Lite 6.35%、Qwen3.5-9B 3.04%。图注强调即使是最高模型也仅达到59.4%的总体准确率，留有相当大的提升空间。
这张图对理解论文至关重要，因为它直观地展示了AGORA的规模（372M tokens、9,664文档、362问题）和评估结果。规模数据说明了为什么智能体必须进行有计划的探索而非全面扫描，因为文档集合远超任何模型的上下文窗口。准确率数据显示了任务难度：即使是最好的模型也仅59.4%，证明归档推理对当前智能体仍是一个重大挑战。领域分布数据说明了跨领域覆盖的设计。这张图在摘要和介绍中都出现，是AGORA最核心的信息概览。
这张堆叠条形图展示了每个模型提交最终答案时的交互轮次分布。横轴是交互轮次（1-10, 11-20, 21-30, 31-40, 41-50, 51-60, 61-70, 71-80, 81-90, 91-100），纵轴是情节数量（对数刻度）。每个条形分为正确（绿色）和错误（红色）两部分。图上方标注了每个模型的提交情节总数：Gemini-3.1-Pro 362、GPT-5.5 362、DeepSeek-V4-Pro 362、DeepSeek-V4-Flash 362、Qwen3.5-9B 362。图下方标注了区间：91-100、61-70、31-40、1-10。模式显示：正确结果集中在低到中等轮次计数（1-30），而深入延伸到预算的情节（71-100）主要是错误的。延长的轨迹更多反映方向迷失而非渐进收敛。
这张图对理解论文至关重要，因为它揭示了智能体如何分配其探索预算。正确结果集中在低到中等轮次计数表明，成功的智能体通常能够快速定位相关证据并计算答案。错误结果在长轮次区间占主导表明，延长的轨迹更常反映方向迷失（重复、无效探索）而非渐进收敛于解决方案，智能体未能早期解决任务很少通过延长搜索来恢复。这个发现对智能体系统设计有重要启示：提高早期探索质量比单纯增加探索预算更重要。这张图在分析部分，是理解智能体行为模式和效率的关键可视化。