DocDancer：面向智能体文档grounded信息检索 DocDancer: Towards Agentic Document-Grounded Information Seeking
首个端到端训练的开源文档问答智能体，通过探索-合成数据管道在长文档理解基准上超越人类表现
前置知识
信息检索
信息检索是指从大量文档中找到与用户查询相关内容的过程。传统方法主要依赖关键词匹配和向量相似度计算，而在智能体框架中，信息检索变成了一个主动的、迭代的探索过程。智能体可以根据当前理解动态调整检索策略，进行多轮搜索和验证，这与传统的一次性检索有本质区别。本文将文档问答形式化为信息检索问题，强调通过工具调用来模拟人类阅读长文档时的信息收集过程。
论文将文档问答重新定义为信息检索问题，这是理解整个方法设计理念的基础。
ReAct框架
ReAct是一种将推理和行动交替进行的智能体框架。在每一步，智能体首先生成推理轨迹，然后执行相应行动，获得观察结果。这个过程形成序列，其中表示思考，表示动作，表示观察。策略函数根据历史交互生成当前的思考和行动。这种框架使智能体能够进行多步推理和工具调用，适合解决复杂的多跳推理任务。
本文采用ReAct作为智能体基础框架，理解这个机制对于理解DocDancer的工作原理至关重要。
多模态文档理解
多模态文档理解涉及同时处理文本、图像、表格、图表等多种模态的信息。传统方法主要依赖OCR将文档转换为纯文本，但这样会丢失布局、视觉和空间信息。现代方法直接从文档图像中提取多模态特征，或将文档解析为结构化表示。本文使用MinerU2.5进行高精度布局分析，定义了17种元素类型，并为大纲节点添加布局和语义属性，同时生成图像和图表的标题作为辅助信息。
DocDancer专门处理多模态长文档，理解多模态文档处理的挑战和技术路线对本文至关重要。
探索与利用权衡
探索与利用是强化学习中的经典权衡问题。探索指尝试未知或不确定性高的动作以获取新信息，利用指根据已有知识选择期望收益最高的动作。在信息检索场景中，这对应于：探索是在文档中主动搜索和阅读新内容以积累证据，利用是基于已收集证据进行推理和回答。本文的探索-合成框架正是利用这一思想：探索阶段通过多次工具调用收集多样化证据，合成阶段基于这些证据生成高质量问答对。
论文的核心数据合成框架直接受到探索-利用权衡思想的启发。
研究动机
现有文档问答方法存在三个主要问题：第一，基于OCR的方法将文档转换为纯文本后丢失了布局、视觉和空间信息，难以理解复杂的多模态文档；第二，检索增强生成方法大多采用一次性检索，对检索错误敏感，无法处理需要多步推理的复杂查询；第三，现有智能体方法主要基于提示工程，依赖闭源模型如GPT-4和Claude，缺乏端到端训练的开源方案。这些方法在处理长文档时尤其困难，因为它们无法进行有效的迭代探索和细粒度推理。此外，高质量DocQA训练数据的稀缺也是一个重要瓶颈，大多数公开数据集只提供测试集，缺乏足够的标注训练数据。
本文的目标是本文旨在训练首个端到端的开源文档问答智能体，将文档问答明确地建模为信息检索问题，设计工具驱动的智能体框架来支持文档探索和理解，同时提出探索-合成数据合成管道来解决训练数据稀缺问题。具体目标包括：设计高效且易于学习的工具集；生成能够引出多步推理、目标分解和丰富交互轨迹的复杂DocQA对；在开源模型上训练出具有竞争力的智能体；在长上下文文档理解基准上达到或超越人类水平。
与已有工作不同的是，本文的独特切入角度是将信息检索领域的探索-利用权衡思想引入到文档问答中。与现有工作不同，本文不是简单地检索相关片段然后回答，而是显式地建模文档探索过程：智能体通过意图驱动的工具交互收集证据，然后基于多观察推理生成问答。这种两阶段设计使得智能体能够像人类一样随机游走地探索文档隐含的知识图，而不是依赖预设的检索规则。此外，本文提出的合成数据管道专门针对智能体训练设计，生成的问答对要求多页面、多模态、多跳推理，这与其他简单问答对或单一页面问答的数据集有本质区别。
核心方法
DocDancer采用ReAct框架作为智能体基础，设计了一个精简但有效的工具集，包含Search和Read两个工具。Search工具进行关键词全文搜索，返回匹配的部分ID、页码和周围文本片段；Read工具根据目标读取指定部分的内容，包括局部文本信息（该部分所有文本）、局部视觉信息（该部分的图片和表格以及包含该部分的页面级截图），并使用多模态总结模型联合处理文本和视觉输入。文档处理使用MinerU2.5进行高精度布局分析，定义17种元素类型，通过视觉裁剪和聚类推断标题元素的层次级别，为图像和图表生成标题作为辅助信息。这种设计使智能体能够主动探索长文档，迭代完善假设，并根据中间观察动态调整策略。
核心创新点是将文档问答建模为智能体信息检索问题，通过探索-合成两阶段框架生成高质量训练数据。探索阶段使用LLM通过意图-动作对与文档迭代交互，收集潜在问答对的相关信息；合成阶段基于探索轨迹和文档生成问答对，强调对多个观察的推理、问答都在源文档中定位以及输出语义连贯且格式良好。这种方法避免了显式构建文档级知识图的高昂工程开销，同时能够生成具有挑战性的DocQA对，在效率和效果之间取得更好平衡。另一个核心创新是工具设计遵循简洁原则，只用两个工具而非复杂工具集，使模型更容易学习有效利用工具。
方法步骤详情
DocDancer的完整工作流程分为数据合成和模型训练两个主要步骤。数据合成步骤：从四个代表性数据集收集PDF文档作为grounding语料库；探索阶段使用LLM迭代调用Search和Read工具，生成探索轨迹；合成阶段使用另一个LLM基于轨迹和文档生成多个文档grounded的问答对；使用强开源模型对问答对进行拒绝采样，获得高质量训练轨迹。模型训练步骤：使用Qwen3-30B-A3B-Thinking-2507和Qwen3-4B-Thinking-2507作为基础模型；应用损失掩码技术，过滤掉观察token的损失贡献以减轻外部反馈的干扰；使用长上下文长度、AdamW优化器、余弦衰减学习率调度器，训练多个周期并选择最佳检查点。
技术新颖性
技术新颖性体现在多个方面。首先，这是首个端到端训练的文档问答智能体，超越了基于提示工程的方法。其次，探索-合成数据管道将信息检索中的探索-利用思想引入数据合成，生成的问答对要求多页面、多模态、多跳推理，这与其他简单问答数据集有本质区别。第三，工具设计遵循简洁原则，只用两个工具而非复杂工具集，但通过精细的设计实现了高效的信息检索。第四，损失掩码技术的应用减轻了外部反馈的干扰，提高了性能和鲁棒性。第五，即使只用少量训练实例，训练出的模型也能达到与闭源模型竞争的性能，展示了数据效率和泛化能力。
实验结果
实验结果在两个长上下文文档理解基准MMLongBench-Doc和DocBench上进行了评估。在MMLongBench-Doc上，DocDancer使用GPT-5.2达到56.8的F1分数和67.6的LasJ分数，使用开源模型Qwen3-30B-A3B达到54.4的F1分数和65.3的LasJ分数，显著优于所有基线方法。在DocBench上，DocDancer使用GPT-5.2达到85.5的LasJ分数，超过人类基线81.2约4个百分点，使用Qwen3-30B-A3B达到81.2的LasJ分数，与人类持平。消融研究表明，当结合相同的工具时，本文的文档处理方法始终优于基线，证明了高质量文档大纲的重要性。尽管只使用两个工具而非DocAgent的五个工具，但性能更好，验证了简洁工具设计的有效性。合成数据有效性研究表明，用本文合成数据训练的模型在所有指标和基准上都优于用人标注的QA数据训练的模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMLongBench-Doc长上下文文档理解 | F1 | 54.4 (Qwen3-30B-A3B) | 49.1 (DocAgent w/ GPT-4o) | +5.3 |
| MMLongBench-Doc | LasJ LLM作为评判者 | 67.6 (GPT-5.2) | 63.3 (DocLens w/ Claude-4-Sonnet) | +4.3 |
| DocBench长文档问答 | LasJ | 85.5 (GPT-5.2) | 81.2 (Human Baseline) | +4.3 |
| DocBench | LasJ | 81.2 (Qwen3-30B-A3B) | 79.9 (DocAgent w/ GPT-4o) | +1.3 |
| 合成数据对比开源QA数据 | LasJ MMLongBench-Doc | 65.3 (DocDancer w/ 合成数据) | 54.2 (OS-QA w/ 人标注数据) | +11.1 |
局限与改进
作者承认的局限性包括：实验只在Qwen3系列模型上进行，没有在更大规模的模型或其他模型族上评估方法；专注于监督微调，没有探索智能体强化学习；没有进一步扩展训练数据，因此没有研究方法在更大或更多样化数据下的表现。此外，观察发现Read工具依赖外部多模态模型，虽然实验表明不依赖特别强的外部模型，但这种依赖可能限制了方法的完全独立性。探索阶段的最大深度是固定的，这可能限制了在特别复杂文档上的探索能力。合成数据管道虽然有效，但生成的问答对必须满足严格的约束，这可能排除了一些有价值的单页面或简单推理任务。
独立分析的弱点
第一个弱点是工具集相对简单，只有Search和Read两个工具，缺乏专门处理表格、图表或复杂布局的专用工具。虽然简洁原则有其优势，但在某些场景下，专用工具可能更高效。改进方向是引入轻量级专用工具，如专门提取表格数据的工具或计算图表数值的工具，同时保持工具集的可学习性。第二个弱点是探索策略基于固定深度，不根据文档复杂性或任务难度动态调整。改进方向是实现自适应探索策略，让智能体根据中间观察和不确定性估计动态决定何时停止探索。第三个弱点是合成数据管道生成的问答对类型可能有限，主要集中于多跳数值推理任务，可能不够多样化。改进方向是扩展问题类型模板，包括更多描述性、比较性和因果推理问题。
未来方向
作者提出的未来方向包括探索智能体强化学习来进一步优化探索策略，扩展训练数据规模以研究性能如何随数据增长而变化，以及在更大规模模型和其他模型族上评估方法。基于论文成果可延伸的方向包括：探索更多样化的工具设计，如专门的表格解析工具、图表分析工具或布局理解工具，同时保持工具集的可学习性；研究自适应探索策略，让智能体根据文档复杂性和任务难度动态调整探索深度和策略；扩展合成数据管道以生成更多样化的问答类型，包括开放性问题和否定性问题；探索跨域泛化能力，研究在专业领域文档上的表现；研究如何将DocDancer与其他智能体框架结合，构建更通用的文档智能体生态；探索多模态理解能力的提升，如更好地处理复杂的图表、流程图和示意图。
复现评估
论文提供了详细的实现细节，包括训练超参数、工具schema、数据合成提示和评估协议。代码和合成数据预计将公开发布，支持透明度和可复现性。实验在两个公开基准上进行，这些基准提供了标准的评估协议和基线结果，便于比较。模型训练使用开源模型，相对较小，算力需求适中。数据合成管道使用四个公开数据集，这些数据集都可公开获取。Read工具依赖外部多模态模型，但实验表明替换为其他模型只带来微小的性能变化，表明方法对外部模型的选择不敏感。总体而言，复现难度中等，主要挑战在于需要足够的算力来训练大参数模型，但论文提供的详细实现细节和预期发布的代码数据应该使得复现相对直接。
论文图表
