战略导航还是随机搜索？Agent和人类如何在文档集合中推理

提出MADQA基准评估多模态Agent在复杂文档集合上的推理能力，发现Agent主要依赖暴力搜索而非真正的战略规划

前置知识

RAG (Retrieval-Augmented Generation)

检索增强生成是一种结合信息检索和生成式AI的技术框架。系统首先从知识库中检索相关文档片段，然后将这些片段作为上下文提供给大语言模型，模型基于检索到的信息生成回答。这种方法扩展了模型的知识范围，减少了幻觉，同时提供可追溯的证据来源。在文档问答场景中，RAG通常包含三个关键步骤：编码文档建立索引、根据查询检索相关片段、基于检索内容生成答案。

本文提出的MADQA基准本质上是在评估RAG系统在多步骤、跨文档场景下的能力。理解RAG的三元组（上下文相关性、忠实度、答案质量）对于理解论文的评估指标（如Page F1、Doc F1）至关重要。

Multi-hop Reasoning (多跳推理)

多跳推理是指需要整合分散在多个来源的信息才能得出最终答案的推理过程。例如，要回答"2015年哪个州的自行车友好度评分最高？"，可能需要先找到评分表格，然后比较不同州的数据，最后识别最高分对应的州。多跳推理可分为两类：跨页面推理（同一文档内的不同页面）和跨文档推理（需要查询多个文档）。这种推理能力要求系统能够分解问题、规划检索路径、聚合部分答案。

MADQA专门设计17.3%的多跳问题来测试Agent的规划能力。论文发现语义距离而非物理距离是多跳问题难度的关键驱动因素，这直接影响了对Agent战略推理能力的评估。

Agentic System (Agent系统)

Agent系统是指能够自主规划、执行、调整策略来完成复杂任务的人工智能系统。与传统的端到端模型不同，Agent具有工具调用能力（如搜索、API访问）、记忆机制、迭代决策等特性。在文档问答场景中，Agent能够：1）将复杂问题分解为子查询；2）基于中间发现调整检索策略；3）在多个候选答案之间进行聚合和验证；4）决定何时停止搜索而非继续盲目探索。

本文的核心研究问题就是：先进的MLLM Agent是展现了真正的战略推理能力，还是仅仅是进行了随机搜索？论文通过效率校准指标（Kuiper统计量）来量化Agent的计算投资是否合理。

Construct Validity (构念效度)

构念效度是心理测量学和评估领域的重要概念，指的是一个测试或评估是否真正测量了它声称要测量的理论构念。例如，一个声称测试"数学推理能力"的考试，如果实际上更依赖记忆而非推理，那么它的构念效度就低。构念效度分析通常包括：检查测试是否受无关因素干扰（如词汇量），确认测试是否覆盖目标构念的不同维度，验证测试结果与理论预期一致。

论文采用Classical Test Theory和构念效度框架来确保MADQA基准确实测试的是文档理解能力而非其他因素。作者进行了词汇重叠分析、参数知识vs.接地分析、视觉需求分析，以验证基准的设计效度。

Kuiper Statistic (Kuiper统计量)

Kuiper统计量是一种用于衡量分布偏离度的非参数统计量，本文用它来量化Agent的效率校准。具体来说，论文将测试样本按努力程度（如工具调用次数）排序，计算累积准确度与全局均值的偏差曲线D_k。Kuiper定义为这个曲线的最大值与最小值之差：K = max(D_k) - min(D_k)。较低的Kuiper值表明Agent在不同努力水平下的性能稳定，意味着它能够合理分配计算资源；较高的Kuiper值表明存在"过度投资"（在难题上浪费计算）或"投资不足"（过早放弃）问题。

这是论文的核心创新之一——引入了评估Agent效率校准的新指标。通过Kuiper统计量，论文发现人类（K=14.6）的校准能力远超所有Agent系统（22.9-73.2），这揭示了Agent虽然能匹配人类准确度，但依赖低效的暴力搜索策略。

研究动机

现有的文档问答评估方法存在严重局限性。一方面，大多数基准测试（如DocVQA、InfographicVQA）专注于单个文档的视觉问答，无法评估Agent在实际工作流中需要的跨文档检索和推理能力。另一方面，通用文档RAG基准（如ViDoRE、MMDocIR）虽然处理文档集合，但主要依赖自动生成的问答对，可能导致对相似模型的偏见，且未能充分测试Agent的迭代规划和导航能力。此外，许多基准（如VIMDoc、DOUBLE-BENCH）复用来自旧数据集的文档，增加了数据污染的风险。最关键的是，我们缺乏一个能够区分"真正的战略推理"和"随机试错搜索"的评估框架——这正是Agent系统的核心价值。

本文的目标是本文的目标是创建一个全面的评估框架，用于量化多模态大语言模型（MLLM）基础的Agent系统在处理复杂、多阶段信息检索和推理任务时的能力。具体来说，作者希望构建一个基准来测试：1）Agent是否能真正地进行战略规划（分解问题、制定检索路径、聚合证据）；2）Agent是否能高效地分配计算资源（在简单问题上不过度探索，在复杂问题上及时调整策略）；3）Agent在什么情况下依赖于暴力搜索而非战略性推理；4）人类与AI Agent在文档搜索行为上的差异。最终目标是帮助社区从暴力检索转向经过校准、高效的推理。

与已有工作不同的是，本文的独特切入角度在于引入了"效率校准"这一新的评估维度。传统基准主要关注最终答案准确度，而本文认为Agent的核心价值不仅在于解决问题，还在于能够合理地投资计算资源。论文提出的Kuiper统计量首次量化了Agent的"努力-准确度"权衡关系。另一个独特角度是引入"战略导航vs.随机搜索"的研究框架，通过对比人类和Agent在相同检索工具下的行为轨迹，揭示两者在问题分解、查询重构、失败恢复等方面的根本差异。此外，论文采用构念效度分析确保基准确实测试目标能力而非无关因素（如词汇重叠、参数知识）。

核心方法

论文提出的方法包含三个主要部分：数据集构建、评估协议设计、基线系统实现。在数据集构建方面，作者从DocumentCloud手动策展了800个异构PDF文档，涵盖13个领域和63个细分类别。通过专业标注团队（超过1200小时工作量）撰写了2250个人工问题，并标注了最小证据集。在评估协议方面，论文定义了六个形式化属性来区分Agent文档QA与标准文档QA：可提取性、多跳、封闭世界、接地归因、Agent性、视觉性。评估指标包括LLM-as-judge的准确度、页面级和文档级的F1分数（衡量归因质量）、以及基于累积差异方法的Kuiper统计量（衡量效率校准）。在基线系统方面，论文实现了四类代表性方法：BM25 MLLM Agent（迭代检索+视觉推理）、管理型RAG服务（如Gemini File Search）、递归语言模型（程序化上下文分解）、以及多种开放和商业系统（如HEAVEN、MDocAgent）。

核心创新在于将"效率校准"作为评估Agent系统的新维度。传统评估关注最终准确度，但本文认为真正的Agent应该能够判断何时值得投资更多计算资源，何时应该停止。论文引入的Kuiper统计量量化了Agent在不同努力水平下的性能稳定性。另一个核心创新是构念效度框架的应用：通过词汇重叠分析确认问题需要语义理解而非关键词匹配；通过参数知识分析估计训练数据污染的影响（约8%）；通过视觉需求分类发现58%的问题需要结构理解。最后，论文首次提供了人类与Agent在相同检索工具下的行为对比，揭示了两者在问题解决策略上的根本差异：人类依赖战略规划（首次查询即达到50%准确度），Agent依赖暴力搜索（首次查询仅12%，需大量恢复）。

方法步骤详情

方法步骤分为四个阶段。第一阶段是文档策展和过滤：作者从DocumentCloud手动选择文档，特别寻找多达30个相关文档的集群（如连续报告、不同餐厅的菜单）以支持跨文档推理。通过Granite-Docling MLLM提取布局元素并计算z-score标准化来展示领域特定模式（如财务和政府文档高表密度，技术文档高图密度）。第二阶段是问题标注和质量保证：签约专业标注团队，制定严格指南确保可解性和无歧义性（问题必须完全从提供的文档回答、足够具体但不能过于直接、需收集最小证据集）。两步验证流程：提供GPT-5人类标注的oracle证据页，如果模型使用完美上下文仍无法正确回答则标记为人工检查；只有零错误的标注者参与MADQA标注。第三阶段是构念效度分析：通过n-gram分析（unigram匹配召回99%但精度仅0.03%，trigram召回51%）确认需要语义理解；通过让模型不提供文档直接回答估计猜对率（平均11.2%，其中3%来自随机机会，8%来自训练数据污染）；通过分类视觉需求（42%仅需自由文本，58%需要结构/表格/视觉工件理解）。第四阶段是原则性分割创建：应用Classical Test Theory，基于难度（平均准确度）和区分度（点二列相关）评估每个问题。明确保留20%测试集作为"Sentinel Pool"（当前模型均无法解决的难题）以确保长期相关性。结果产生500个测试样本（与完整基准强秩相关Spearman ρ > 0.85）、200个开发样本、1550个训练样本。

技术新颖性

技术新颖性体现在多个方面。首先，首次将Classical Test Theory应用于Agent基准的数据分割，确保测试集保留强区分能力同时保留难题。其次，引入Kuiper统计量作为Agent效率校准的指标，这是对传统准确度指标的补充而非替代。第三，提供了全面的人类-Agent行为对比分析，包括搜索轨迹、查询重构幅度、错误模式分解、跨系统项目一致性等。第四，建立了六属性的形式化任务定义，为未来研究提供了清晰的评估框架。第五，通过构念效度分析系统性地验证了基准的设计，确保测试的是目标能力而非无关因素。第六，提供了"解决方案空间"框架，从控制流、表示、检索、生成四个维度分析Agent系统的设计选择。

**Figure 1**: Given a query q over corpus C, the system iteratively retrieves pages, reasons over visual and textual content, and aggregates evidence from multiple pages E = {pi,j, . . .} to produce a grounded answer a with attribution. The process typically requires decomposing q, iterative retrieval, and synthesizing across E.

**Figure 2**: Layout element density across document domains in MADQA. The heatmap shows the standardized (z-scored) concentration of individual layout elements within each domain. Pink indicates above-average density, while cyan indicates below-average density. A detailed discussion is provided in Appendix B.2.

**Figure 3**: Sample question (X-Doc). No single document covers the full period. The agent must retrieve both the 2018 report (covering 2014–2018) and the 2019 report, then extract and sum the relevant values. More examples provided in Appendix C.3.

**Figure 5**: Principled dev/test set selection. We evaluate every question based on Difficulty (mean accuracy) and Discrimination (point-biserial correlation). The Sentinel Pool (•) captures the hardest items to preserve headroom, regardless of discrimination scores. For the remaining budget, we stratify questions into difficulty bins and greedily select those with the highest discrimination signal (•), discarding questions with lower predictive power (•).

**Figure 6**: Illustration of the cumulative difference curve. Upward segments indicate above-average accuracy at low effort, while downward indicate below-average accuracy at higher effort. The Kuiper statistic measures the total range of this deviation.

实验结果

论文的核心发现可总结为四点。第一，简单Agent系统可超越强静态RAG：最佳表现系统Gemini 3 Pro BM25 MLLM Agent达到82.2%准确度，显著优于其非Agent对应版本Gemini 3 Pro File Search（78.6%）。这一趋势在GPT家族所有模型中一致，证实迭代规划能力在MADQA中有益。第二，专业化解决方案超越其规模：8B参数规模中，M3DocRAG和MDocAgent达到60%以上准确度，超越更大商业模型。第三，Agent实现更优页面级归因：管理型RAG常达到高Doc F1，但在精确定位上挣扎（Page F1低），而Agent系统提供更好的页面级归因。第四，校准是独立于准确度的维度：Kuiper值差异大且不单调对应答案质量，如GPT-5 BM25 Agent达到77.7%准确度但校准差（Kuiper 52.6）于Gemini 3 Pro BM25 Agent（82.2%，Kuiper 25.8）。人类-Agent对比显示：尽管前沿MLLM Agent能够回答复杂文档问题，它们消耗大量努力且不可靠地识别是否和什么额外探索有益。即使使用相同BM25搜索工具，人类和Gemini 3 Pro达到可比性能（~82%），但成对项目一致性低（Cohen κ=0.24）：它们在不同问题上成功。Oracle Gap近18%结合这种冷启动低效性证明MADQA对高效Agent仍未解决。人类响应时间中位数2分钟，响应时间与准确度负相关：1分钟内回答的问题达86%，10分钟以上仅68%。

**Table 1**: Comparing MADQA with existing benchmarks. Our work is distinguished by its focus on a collection of complex PDFs with fresh documents (not recycled from existing benchmarks) and fully human-authored questions, designed to test agentic reasoning. We denote diversity levels using • high, • medium, and • low as coarse, relative categories (see Appendix J.1 for detailed assessment).

**Table 2**: Constituents of MADQA. The corpus spans documents (median 5 pages, mean 23.3, max 859) totaling 12.2M tokens.

**Table 3**: Main evaluation results on MADQA. Agentic systems consistently outperform their static RAG counterparts, yet an 18% oracle gap reveals that retrieval—not reasoning—remains the primary bottleneck. We report aggregate Accuracy (± confidence intervals) alongside specific multi-hop reasoning subsets (X-Page and X-Doc). Attribution is measured via Page F1 and Doc F1 to assess grounding fidelity. The Kuiper statistic (↓is better) quantifies effort calibration; it is excluded for Non-Agentic systems as they operate with fixed computational budgets.

**Figure 4**: Visual necessity in MADQA. 58% of the questions benefit from understanding Structured layouts, Tabular data, or Visual Artifacts (e.g., charts, stamps). The matrix highlights that multi-category dependencies (e.g., Structured + Artifacts) are a significant driver of benchmark difficulty.

**Figure 7**: Performance and cost of running test set inference. Leading models with Managed RAG, compared to employing them in BM25 MLLM Agent or RLM setup.

**Figure 8**: Error decomposition across all BM25 MLLM agents, ordered by accuracy. Each bar decomposes a system's test predictions into correct (exact and verbose) and four error types. Weaker models are dominated by refusals and retrieval failures, while stronger models shift toward comprehension errors—suggesting that retrieval is largely solved for top systems and answer extraction remains the bottleneck.

**Figure 9**: Accuracy as a function of step limit (N) for BM25 MLLM agents. While frontier agents eventually match human accuracy given a large budget (N = 9), they suffer from a severe "Cold Start" efficiency gap. Humans achieve 50% accuracy on their first query, whereas Gemini 3 Pro starts at only 12%, requiring an aggressive, high-cost recovery strategy to reach parity.

**Figure 10**: Kuiper calibration curves measuring effort-accuracy alignment. Human annotators remain well-calibrated across effort levels. RLM agents exhibit calibration closer to humans.

查看结构化数据

任务	指标	本文	基线	提升
整体准确度	LLM-based Accuracy	Gemini 3 Pro BM25 Agent: 82.2%	Gemini 3 Pro File Search: 78.6%	提升4.6个百分点
跨文档推理	Accuracy on X-Doc questions	Gemini 3 Pro BM25 Agent: 73.0%	GPT-5 BM25 Agent: 74.0%	GPT-5在跨文档任务上略优
页面级归因	Page F1	Claude Sonnet 4.5 BM25 Agent: 79.1%	Gemini 3 Pro File Search: 70.1%	提升9个百分点
效率校准	Kuiper Statistic (越低越好)	Human BM25 Agent: 14.6	GPT-5 Mini BM25 Agent: 73.2	人类校准能力远超所有Agent
首次查询成功率	Document Found on First Query	Human: ~80%	Gemini 3 Pro: ~70%	人类首次查询优势明显
Oracle性能上限	Accuracy with Perfect Retrieval	Human Oracle Retriever: 99.4%	Best Agent: 82.2%	Oracle Gap近18%

局限与改进

作者承认了多项局限性。覆盖范围和代表性方面，MADQA针对多步骤、基于异构PDF的推理，但语料库限于英语文档且内容、格式约定和机构术语主要以美国为中心。因此，在MADQA上的性能可能不会转移到非英语环境或具有不同文档类型、布局和管理实践的地区。此外，文档来源于公开存储库，可能低估私有、专有或高度特定于企业的文档集合（如内部政策、受监管的临床工作流程、定制采购表单）。公共文档和训练数据暴露方面，由于语料库中的文档是公开的，某些内容可能在模型预训练期间被观察到。虽然作者分析并量化了答案猜对率以限制此影响，但不能保证完全消除记忆优势，且这种暴露可能不同地使某些模型系列受益。因此，报告的分数应解释为文档接地能力和（有限程度）先期暴露的混合。注释粒度和任务范围方面，论文提供页面级而非更细粒度（如边界框、表格单元格或标记跨度）的最小证据。此选择支持可靠规模的注释并与人类导航文档的方式一致，但它限制了基准诊断细粒度接地失败的能力（例如，在表单中提取错误字段）当检索到正确页面时。此外，MADQA专注于归因问答；它不直接评估其他关键文档工作流能力，如跨许多任务的长视规划、文档编辑、数据录入到外部系统或具有现实世界副作用的端到端自动化。评估方法论和残余噪声方面，论文依赖LLM-as-judge评分答案正确性，校准到人类判断，但此评估仍不完美。它不包括对每个预测的系统性人工验证。尽管进行了校准，罕见的格式边缘情况和模糊的表面形式可能导致残余测量误差。此外，正确性和归因被分别评分（答案准确度vs. Page/Doc F1），这意味着即使引用不完整或嘈杂，系统仍可能因正确答案而获得功劳；反之，系统可能因不完整或嘈杂的引用而受惩罚，即使答案正确。努力作为不确定性代理方面，论文的校准分析遵循行为假设，即更多观察到的努力（如更多搜索/工具迭代）反映更高的隐含不确定性或难度，并量化Agent是否以与成功相关的方式分配努力。然而，努力作为步数的具体操作化本质上是系统依赖的：一个"步骤"可以捆绑不同数量的计算、检索上下文或延迟，具体取决于工具设计和模型接口。因此，当不同系统的这些不同时，Kuiper分数最可解释。当这些不同时，理想情况下应报告补充的成本措施（标记、挂钟时间或美元成本）。排名对预算的敏感性方面，论文的评估对Agent步数施加了固定上限（通常N=10），但系统排名对此参数敏感。如效率分析所示（第5.2节），前沿模型的相对顺序取决于允许的预算而反转：例如，虽然Gemini 3 Pro在收敛时主导排行榜，它在N≤3制度下表现不如人类和Claude Sonnet 4.5。因此，报告的基准分数应解释为在慷慨计算预算下的"渐近性能"。需要实时响应性的应用程序可能会发现排行榜上的"最佳"模型在受限推理设置中次优，需要从标量准确度指标转向预算感知评估曲线。鲁棒性、安全性和负责任使用方面，基准评估良性文档，不测量对对抗性输入的鲁棒性（例如，嵌入PDF中的提示注入指令、欺骗性布局或旨在破坏工具使用Agent的恶意格式）。在实际部署中，这些威胁是核心，在MADQA上的坚定性能不应被视为对基于文档的攻击的安全证据。最后，语料库的部分包括可能包含个人或敏感信息的公共记录。MADQA旨在研究和评估，仅发布问题、答案和文档标识符——而不是文档本身。用户应在处理检索到的文档时采取适当注意，并遵循处理、编辑和重新分发敏感内容的适用政策。

独立分析的弱点

独立分析揭示多项弱点。首先，数据集缺乏语言多样性：论文明确承认语料库限于英语文档且以美国为中心，这限制了基准在多语言环境下的适用性。改进方向是扩展到多语言文档和不同地区的文档类型。第二，评估指标的成本代理性质：Kuiper统计量使用步数作为努力代理，但不同系统的"一步"可能包含不同计算量。改进方向是标准化努力测量或提供多维度成本报告（tokens、时间、美元）。第三，页面级归因的粒度限制：虽然页面级注释与检索系统操作方式一致，但无法诊断细粒度接地失败（如表单中提取错误字段）。改进方向是提供可选的更细粒度注释或开发专门的接地诊断工具。第四，缺乏对真实世界威胁的评估：基准不测试对抗性输入（如提示注入、恶意布局）。改进方向是添加对抗性子集或安全评估协议。第五，静态预算假设：评估使用固定步数上限，但实际应用需要动态资源分配。改进方向是开发预算感知的评估曲线而非标量分数。第六，训练数据污染的量化不完美：虽然作者估计约8%来自训练数据污染，但这是下界估计，实际污染可能更高。改进方向是更系统的数据重叠分析或定期刷新测试集。第七，缺乏长期规划评估：基准专注于单任务问答，不评估跨任务的长视规划能力。改进方向是扩展到多任务场景或引入工作流级评估。第八，冷启动问题的系统分析不足：虽然论文观察到Agent首次查询准确度远低于人类，但没有深入分析原因。改进方向是系统分析首次查询失败模式并开发改进策略。

未来方向

作者提出两个具体未来方向。首先，情景记忆可能帮助Agent学习跨查询的特定语料库术语和文档结构。这涉及为Agent添加跨会话记忆机制，使其能够记住常用术语、文档结构模式、检索成功/失败的历史，从而在后续查询中制定更精准的检索策略。其次，通过搜索工具反馈的强化学习可以显著改善探索策略。这涉及将搜索过程建模为强化学习问题，Agent根据检索结果和答案正确性获得奖励，学习何时继续搜索、何时调整策略、何时停止。基于成果可延伸的方向包括：多模态检索优化——当前主要使用文本检索（BM25），未来可以研究视觉感知的检索器（如ColPali、HEAVEN）以更好处理视觉密集文档；跨文档推理改进——开发专门针对跨文档推理的Agent架构（如图神经网络建模文档间关系）；查询重构学习——系统性地研究如何教Agent制定有效查询（包括使用人类反馈、模仿学习、自动查询优化）；成本感知推理——开发能够根据实时成本约束动态调整策略的Agent；安全鲁棒性评估——扩展基准以测试对抗性文档、提示注入等安全威胁；多语言和跨文化扩展——将基准扩展到非英语文档和不同文档文化；长视规划评估——开发评估Agent跨多个相关任务协调能力的方法。作者还承诺将根据社区进展调整未来的评估活动，以针对新瓶颈，确保基准继续作为前沿能力的区分信号。

复现评估

论文在复现性方面表现良好。数据集和评估工具已开源发布，提供了详细的数据集卡片、注释指南、基线实现代码。所有2250个问答对和证据映射在CC BY-NC 4.0许可下发布，训练和开发分割完全公开（测试集通过评估服务器保持隐藏）。基准提供了文档索引的策展列表，托管在DocumentCloud上的第三方组织。论文详细描述了所有超参数设置（如BM25 Agent的T=10最大迭代、k=5每搜索结果数）和系统提示词。成本分析显示推理成本差异巨大：Claude Sonnet 4.5 RLM处理了超过2.7亿输入标记，成本$850，却未能匹配其BM25 MLLM对应版本的准确度。这意味着低成本基线（如BM25 Agent）更适合快速实验。论文提供了完整的人类基线收集协议和接口描述，使其他研究者可以复现人类评估。局限性在于某些商业服务（如Gemini File Search、OpenAI Assistants File Search）是黑箱，内部检索策略不透明。此外，评估需要访问多个商业LLM API，成本可能较高。总体而言，论文提供了足够的实现细节和开源工具，使研究者可以复现主要结果。难度中等：主要挑战在于需要访问多个LLM API和处理大规模文档集合，但代码和工具已开源，文档详细。