OfficeQA Pro：面向端到端有据推理的企业级基准 OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning
基于百年美财政部公报构建的企业级多文档推理基准
前置知识
有据推理（Grounded Reasoning）
有据推理指 AI 系统在回答问题时严格基于给定文档语料进行检索、解析与多步分析，而非依赖参数化记忆或网络搜索的开放式知识。它包含三个串联阶段：文档解析（PDF/扫描件→结构化文本与表格）、信息检索（在大型异构语料中定位证据）、定量分析（在证据上做计算或推理）。OfficeQA Pro 把这三阶段作为一个端到端流水线来联合评测。
论文核心命题就是『当前前沿模型在企业级有据推理任务上准确率不足 50%』。理解三阶段耦合关系，才能读懂它与 HLE、GDPval 等基准的本质差异——后者要么考纯参数化知识，要么在闭世界内直接给上下文，未考察大规模异构语料的忠实检索能力。
绝对相对误差（Absolute Relative Error）
对于真实值 $y$ 与预测 $\hat{y}$，绝对相对误差定义为 $\text{ARE}(\%) = \frac{|\hat{y} - y|}{y} \times 100$。当 ARE 低于给定阈值（如 $0.0\%$、$0.1\%$、$1.0\%$、$5.0\%$）即视为回答正确。OfficeQA Pro 由于 99% 答案都是数值，论文沿阈值扫描刻画模型在不同精度要求下的表现。
本基准的评测核心即这套阈值化精确匹配机制。它比简单的『数值接近』更严格，可避免企业级财务场景中『差之毫厘谬以千里』的误判，也使评测可全自动、可复现。
智能体框架与工具调用
智能体（Agent）框架让 LLM 通过多轮工具调用完成复杂任务：文件系统搜索、Shell 命令、Python REPL、网络搜索、OCR/PDF 解析等。OfficeQA Pro 评测了 Claude Agent SDK、OpenAI Codex SDK、Gemini CLI 三种原生框架，每个隔离环境中独立运行以避免包冲突，并通过预装解析依赖避免『小时级安装开销』。
论文发现智能体在 PDF 全语料上平均耗时 23.6 分钟，即使 Oracle 文档+最佳解析仍需 3.9 分钟。理解工具调用与延迟的耦合关系，是理解论文关于『解析质量影响 token 与工具调用次数』结论的前提。
文档解析器（PDF Parser）
PDF 解析器把扫描/数字版 PDF 转换为带阅读顺序的文本与结构化表格。论文对比了三种方案：开源 Docling（RapidOCR+TableFormer）、商用 unstructured.io、Databricks 自研 ai_parse_document。三者在处理嵌套多级表格、扫描件 OCR、长跨页表格时差异显著，输出差异会向下游传递为检索与计算错误。
论文最反直觉的发现是『解析器选择本身就能带来 22 个百分点的差距』，且 ai_parse_document 比次优方案便宜约 35%。理解解析器的工作原理是看懂『为什么企业级 RAG 系统的瓶颈不在 LLM 而在解析』这一论断的关键。
研究动机
现有推理基准与真实企业工作流存在显著脱节。Humanity's Last Exam 与 ARC-AGI-2 等测试聚焦于学术前沿推理，但其『闭卷参数化』设定无法反映企业场景；GDPval 虽然引入经济价值任务，但每个任务平均仅涉及不到两个文档片段，完全跳过了大规模异构语料中的忠实检索挑战。更关键的是，这些基准往往依赖人类专家手工评分，成本高且难以自动化。前沿模型在 HLE、Olympiad 类任务上已展现专家级水平，但当任务切换到企业级有据推理——即『从数千页异构文档中精确定位证据并完成多步定量分析』——时能力急剧下滑。论文用四组对照实验量化了这一断层：仅靠参数化知识，Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro Preview 三款旗舰模型在 0.0% 绝对相对误差阈值下准确率均低于 5%；开放 Web 搜索后仅 GPT-5.4 达到 11.3%；即便提供完整语料，最强智能体（Claude Opus 4.6）也只能达到 48.12% 准确率。Claude Opus 4.6 在启用 Web 搜索时甚至在约 80% 的问题上未能产出最终答案，因 token 耗尽而中止。这种『从 80%+ 跌至 50% 以下』的断崖，暴露出当前 AI 在真实企业文档密集型工作流中的核心瓶颈。
本文的目标是论文的核心目标有三：第一，构建一个可验证、可扩展、贴近真实企业数据复杂度的端到端有据推理基准 OfficeQA Pro；第二，通过系统化实验量化解析质量、检索策略、表格表示、推理时计算等设计选择对智能体性能的影响；第三，识别当前前沿系统的失效模式并指明未来研究方向。具体而言，基准须满足三项设计原则：(i) 模拟企业数据的多样性，包括长时序漂移、扫描/数字文档混合、嵌套多级表格；(ii) 强制多步有据推理，无法仅凭参数化知识作答；(iii) 高精度可验证评测，每题只有一个明确答案，99% 数值化，支持自动化精确匹配。最终目标是为研究者提供一个既能定位瓶颈又能驱动迭代改进的『试金石』。
与已有工作不同的是，本文的独特切入角度有三层。其一，语料选择的真实性：直接采用美国财政部公报（1939 年至今的近百年档案，约 89,000 页、2,600 万以上数值），涵盖扫描件到数字 PDF 的全谱过渡，其数据漂移（数据修订、单位变化、报告口径变迁）天然贴合企业真实场景；其二，问题设计的可验证性：摒弃 GDPval 的专家评分制，每题答案可全自动精确匹配，99% 为数值，引入阈值化绝对相对误差作为评测梯度；其三，全链路联合评测：与单纯评测解析或检索的基准（如 OmniDocBench、BRIGHT）不同，OfficeQA Pro 把解析→检索→定量分析三阶段作为一个端到端流水线，使解析器的 22 个百分点差距、检索策略的成本-精度权衡等系统级现象第一次被清晰揭示。这三层设计共同回答了『为什么现有基准低估了企业 AI 的难度』这一核心问题。
核心方法
OfficeQA Pro 的整体方法思路可概括为『真实语料 + 严格验证 + 多维评测』。直觉上，它从百年财政部公报中抽样构建 133 道高难度（Pro）+ 113 道辅助（Easy）共 246 道题，每题答案明确且可自动比对；评测分四个层级逐步放宽条件——参数化知识、Web 搜索、Oracle 文档、全语料智能体；解析器则横向对比 Docling、unstructured.io 与 Databricks 自研 ai_parse_document 三种方案。技术路线上，论文实施了两阶段质量控制：Phase 1 由 SuperAnnotate 与 Turing 的标注员基于 PDF 创建问题与答案，再由新标注员使用相同 PDF 复核；Phase 2 让 AI 智能体独立作答，对冲突答案进行三方裁决（智能体错误 / 问题歧义 / 真值错误），由此筛除能被参数化知识直接回答的题目。最终评测采用阈值化绝对相对误差 $\text{ARE}(\%) = \frac{|\hat{y}-y|}{y}\times 100$，沿 $0.0\%$、$0.1\%$、$1.0\%$、$5.0\%$ 四档扫描，自动归一化数字格式与单位缩写。
核心创新在于把『文档解析瓶颈』从一个被忽视的实现细节提升为一级评测维度，并量化其对智能体性能的因果影响。与已有基准（如 HLE、GDPval）把解析当成预处理黑盒不同，OfficeQA Pro 通过对比三种解析器（Docling 38.4% / unstructured.io 31.1% / ai_parse_document 50.4% 平均准确率）证明：仅解析器选择一项就能在 0.0% 阈值下带来 22 个百分点的差距，且 ai_parse_document 比次优方案便宜 35%。进一步地，论文通过对比『原始 PDF vs 解析后文本』两种智能体输入，发现解析后智能体准确率提升 6.0-20.3 绝对百分点、延迟降低 4-9 倍、成本下降最高 88%。这意味着传统 RAG 系统中『解析即预处理』的假设被打破——解析质量本身就是系统性能的乘性因子。这一发现的更深层价值在于，它把企业 AI 工程优化从『换更好的 LLM』重新定向到『换更好的解析管线』。
方法步骤详情
方法步骤可分为五段。第一步是语料构建：选取 1939 年至今的 U.S. Treasury Bulletins（约 89,000 页、26M+ 数值），统一去除嵌入文本层以保证公平，所有数字 PDF 一律按 1996 年前后区分为扫描件与数字原生档两类。第二步是问题创建：由 SuperAnnotate 与 Turing 的标注员按真实分析师查询模板生成问题-答案对，要求问题必须基于语料、答案明确无歧义、并区分财年/日历年、名义/实际美元等关键维度；过程中避免琐事类问题，并经 USAFacts 复核。第三步是验证筛选：Phase 1 让新标注员仅用创建题目时所用 PDF 重新作答以验证可复现性；Phase 2 用 Claude Opus 4.5 与 GPT-5.1 智能体独立作答，对三方冲突答案做根因分类（智能体失败 / 问题歧义 / 真值错误），据此修订问题或答案；最后筛除能被参数化知识直接答对的题目（最终保留 246 题，其中 Pro 133、Easy 113）。第四步是评测执行：对每个问题在四档配置下作答（Prompt Only、Web Search、Oracle PDF+Web、Oracle Parsed+Web），智能体配置则对比 Full Corpus vs Oracle Pages 与 PDF vs DBX Parsed 两组交叉；输出通过阈值化绝对相对误差判定正确性，并对数字格式、单位、日期做归一化处理。第五步是统计报告：分别按模型、解析器、阈值档给出准确率、延迟、工具调用次数、单题成本四组指标，所有实验均以隔离虚拟环境执行以避免包冲突。
技术新颖性
技术新颖性主要体现在三个方面。首先是基准设计上的真实性：与 GDPval 平均仅涉及不到两个 artifact 不同，OfficeQA Pro 要求智能体在 89,000 页语料上自主检索，其中 11% 的题目需要跨三个以上公报、22% 需要 Web 搜索补充外部历史统计（如 CPI）、3% 需要视觉理解图表、62% 需要超出基本算术的统计分析（如 OLS 线性回归），这种『真实企业数据 + 真实任务复杂度』的组合前所未有。其次是评测机制上的可验证性：99% 答案为数值的特性使评测可全自动执行，阈值化绝对相对误差配合格式归一化让评测既严格又宽容于合理变体，规避了 LLM-as-judge 的主观性。最后是分析视角上的系统性：论文是首批把『解析器选择』量化为主评测维度的研究，并通过『Oracle vs Full Corpus』隔离检索瓶颈、『PDF vs Parsed』隔离解析瓶颈、模型/工具/检索策略的多组 ablation，把端到端流水线拆解为可定位瓶颈的工程框架。这种『分层定位』方法论对企业 AI 落地具有直接指导意义。
实验结果
实验围绕四组对照展开，得出多项量化结论。第一组 LLM 基线：在 Prompt Only 设定下三款旗舰模型（Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro Preview）在 0.0% 阈值准确率均低于 5%，但放宽到 5% 阈值可达 17-24%，说明模型能做合理 Fermi 估计但精度不够；启用 Web 搜索后 GPT-5.4 提升到 11.3%，但 Claude Opus 4.6 因在 80% 的问题上耗尽 token 而中止推理；提供 Oracle PDF 时三款模型跃升至 36-57%，换用 ai_parse_document 后进一步提升至 56-65%，平均相对增益 +50.2%。第二组智能体基线（Table 1）：在完整语料+PDF 配置下，Claude Opus 4.6 智能体 48.12%（31.2 分钟/题，82.4 次工具调用），GPT-5.4 智能体 36.09%（13.1 分钟），Gemini 3.1 Pro Preview 仅 18.05%（26.4 分钟）；换用 ai_parse_document 后三款智能体分别提升至 54.14%/56.39%/29.32%，且延迟降低 4-9 倍；Oracle 文档配置下再升至 60.90%/54.89%/39.10%；最佳 Oracle+DBX Parsed 配置达到 66.92%/65.41%/46.62%，这是论文报告的峰值。第三组解析器对比（Figure 7）：在自定义智能体上跑三种解析器，ai_parse_document 平均 50.4% 准确率 vs Docling 38.4% vs unstructured.io 31.1%，且单题平均成本仅 \$5.29（比 Docling 低 35%）。第四组 ablation：HTML 表格表示略优于 Markdown；文件检索+向量检索组合优于单一；多数投票 test-time scaling 对强模型收益递减。所有实验一致指向『解析质量 + 检索准确性 = 主要瓶颈』这一核心结论，即使最强配置下 Claude Opus 4.6 仍仅 66.92%，距离企业级可靠部署的 95%+ 准确率目标有巨大差距。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OfficeQA Pro（完整语料+PDF 智能体） | 0.0% 阈值准确率 | Claude Opus 4.6: 48.12% | Gemini 3.1 Pro Preview: 18.05% | +30.07 绝对百分点 |
| OfficeQA Pro（完整语料+DBX Parsed 智能体） | 0.0% 阈值准确率 | Claude Opus 4.6: 54.14% | Full Corpus PDF: 48.12% | +6.02 绝对百分点（+12.5% 相对） |
| OfficeQA Pro（Oracle+DBX Parsed 智能体，最佳配置） | 0.0% 阈值准确率 | Claude Opus 4.6: 66.92% | Prompt Only LLM: <5% | +62 绝对百分点以上 |
| 解析器对比（自定义智能体平均） | 0.0% 阈值准确率 | ai_parse_document: 50.4% | Docling: 38.4% / unstructured.io: 31.1% | +12.0/+19.3 绝对百分点 |
| Oracle PDF vs Oracle Parsed 智能体加速 | 延迟（分钟/题） | Claude Opus 4.6: 3.5 分钟 | 完整语料+PDF: 31.2 分钟 | 8.9 倍加速 |
| Oracle+DBX Parsed 智能体成本 | 单题成本（美元） | GPT-5.4: \$0.33 | 完整语料+PDF GPT-5.4: \$1.79 | 82% 成本下降 |
局限与改进
作者明确承认的核心局限是『视觉推理能力』：3% 需要看图表的题目在解析管线中完全被剥离（图 10），智能体无法读图，只能依赖文本化信息，导致这些题目几乎全军覆没。其次是『时间序列数据修订』问题（图 8）：同一统计量在不同月份公报中数值不同（典型如『对外国负债』月度数据常被后续公报修订），智能体常过早收敛于第一个看似合理的数值，即使明确要求『最新公布值』也难以执行，触发检索循环并最终耗尽步骤上限。作者承认『解析忠实度』仍是未解难题，即便 ai_parse_document 也会出现表格行错位、脚注丢失、列标题与子表对应错误（图 9）。此外，分析推理层面也有三类失败：(i) 取用相邻但语义不同的统计量（如债务定义错配）；(ii) 使用数学正确但语义错误的公式（如样本方差代替总体方差）；(iii) 中间步骤过早舍入导致级联误差。从独立视角观察，还有一个被低估的局限——评测仅在 0.0%-5.0% 阈值扫描，但企业实际场景往往允许 1-2% 偏差；这种『最严格阈值』可能过分惩罚了接近正确的答案，掩盖了模型『差之毫厘』的实际可用性。同时，平均 23.6 分钟的延迟（即使在最优配置下仍需 3.9 分钟）对企业生产环境仍是不可接受的，工程化路径有待进一步探索。
独立分析的弱点
独立分析论文至少存在四个可改进方向。其一，基准覆盖度单一：仅依赖美国财政部公报一个语料来源，无法泛化到企业常见的法律合同、医疗档案、工程图纸等异构文档；改进方向是构建跨领域多模态基准。其二，问题类型偏统计：62% 需要数据分析和 22% 需要 Web 搜索的占比意味着大量题目集中在『数值计算』，缺少对长篇定性推理、跨文档论证、隐含信息推断的覆盖；改进方向是引入更多定性分析类题目。其三，未深入测试多模态融合：3% 的视觉推理题几乎被剥离，缺少图表理解、表格单元格关联、文本-图互引等真正企业级需求；改进方向是在解析管线中保留图像并支持视觉-文本联合推理。其四，未评测推理时计算成本-精度的精细权衡：仅给出多数投票的笼统结论，未系统刻画『不同模型在不同推理预算下的 Pareto 曲线』；改进方向是引入 token/时间预算约束下的系统化评测。此外，论文对比的解析器仅三种且 ai_parse_document 是 Databricks 自家产品，存在潜在利益冲突；独立第三方解析器的对比有待补充。
未来方向
作者明确提出的未来工作有三：(i) 开发 held-out 测试集衡量智能体在有据推理任务上的泛化能力；(ii) 探索更彻底的、版本感知的检索策略以解决数据修订问题；(iii) 增强图表视觉推理能力。基于论文成果可延伸的方向包括：(a) 将 OfficeQA Pro 方法论扩展到法律、医疗、金融合同等异构领域，形成『OfficeQA 系列』多领域基准；(b) 研究『解析-检索-推理』的联合训练，使模型能内化解析错误而非将其作为前置假设；(c) 引入 RAG 与长期记忆机制以支持跨会话知识积累，对企业级场景尤为关键；(d) 探索『人机协作』模式——让 AI 智能体先做粗筛，人工专家聚焦关键判定，可能比纯 AI 更适合企业级精度要求；(e) 研究 latency-aware 的早停与并发策略，把平均 23.6 分钟降到秒级响应；(f) 把评测阈值从 0.0%-5.0% 扩展到企业实际容忍区间（如 0.5%-2%），并报告任务相关的『最低可接受准确率』曲线。
复现评估
复现性总体良好但存在实际门槛。开源方面，作者明确提供了代码仓库 https://github.com/databricks/officeqa 与评测奖励实现，并附论文引用 OfficeQA blog 与数据子集；评测题目、答案、原始 PDF 链接均公开。算力门槛方面，论文披露完整语料 PDF 解析约需 \$178（ai_parse_document）或 \$2670（unstructured.io），运行智能体实验的总成本显著（GPT-5.4 单题 \$0.33-\$1.79，Claude Opus 4.6 单题 \$1.19-\$5.93），整体复现可能需数千美元 API 费用。数据门槛方面，89,000 页 PDF 全部可从公开渠道（U.S. Treasury 官网）获取，但需注意去嵌入文本层并按 1996 年前后区分扫描/数字原生档。复现难度主要在于：(i) 智能体框架的版本敏感性——论文使用 Codex CLI、Claude Agent SDK、Gemini CLI 的特定版本，未来 API 升级可能改变结果；(ii) 智能体内部路径（system prompt、预装依赖列表详见 Appendix E.3）的微小变化会传导为性能差异；(iii) 评测涉及随机化（如 Claude Opus 4.6 高温度设置），单次复现可能与论文数字存在 ±1-2% 波动。总体而言，复现一个完整实验需要数天工程时间与中等规模 API 预算。
论文图表
条形图展示三种智能体框架（Google Agent、OpenAI Agent、Anthropic Agent）在最新旗舰模型与创建基准时可用旗舰模型上的准确率对比：Google Agent 当前 18.05% vs 旧版 3.8%，OpenAI Agent 36.09% vs 15.8%，Anthropic Agent 48.12% vs 39.9%；右侧显示平均 34.1% 与峰值 48.12%。
这是全文最具代表性的『震撼图』，一眼揭示前沿 AI 在企业级有据推理任务上仍存在巨大能力鸿沟，为整篇论文定调。
两张代表性页面截图：左为 1941 年 3 月公报中的关税表（嵌套层级、年度/月度数值、注释繁多），右为 1980 年 3 月的『美国国债按持有者类型调查表』（多维交叉表），展示语料跨越数十年的格式变迁。
直观证明基准语料的真实性与异构性——读者一眼就能理解为什么『单纯依赖参数化知识』必然失败，因为表格布局跨越近百年剧烈变化。
上下两张表对比：上为 2013 年 9 月公报中关于 2013 年 3/5/6 月『对外国负债』的初步数值，下为 2013 年 12 月公报中的修订值；展示同一指标在后续公报中被反复修订的真实情况。
直观说明『数据修订』这一企业级核心难题——智能体常过早收敛于首次检索到的旧值，难以识别后续修订版。
上为 1950 年 2 月公报中 1940-1943 年预算支出的原始表格，下为解析后输出，两处错误高亮：1942 年 5 月与 1941 年 7 月的数值被错误提取。
即便最强解析器也会犯数值提取错误，证明『解析忠实度』仍是企业级 RAG 系统的根本瓶颈。
一张折线图，要求智能体统计所有局部极大值点的总数；说明当任务需要视觉推理时，解析管线完全剥离了图像，模型只能基于有限文本描述作答，几乎无法完成。
直接揭示 3% 视觉推理题全军覆没的根因——解析管线未保留视觉模态，限制了多模态推理能力。