Marco DeepResearch：基于验证中心设计的高效深度研究智能体 Marco DeepResearch: Unlocking Efficient Deep Research Agents via Verification-Centric Design
以验证为中心的三阶段设计，让 8B 深度研究智能体逼近 30B 级别性能
前置知识
ReAct 范式
ReAct（Reasoning + Acting）是一种将推理和行动交替进行的智能体范式，由 Yao et al. (2023) 提出。在该框架中，模型先进行思考（Think），再执行动作（Act，如搜索、点击），然后观察（Observe）动作结果，如此循环直到得出最终答案。这种 Thought-Action-Observation 循环是当前大多数深度研究智能体的基础架构，本文的单智能体轨迹合成就基于 ReAct 范式。
本文的核心改进之一——验证驱动的轨迹构建——就是在 ReAct 基础上引入显式验证步骤，理解 ReAct 是理解本文方法的前提。
测试时扩展（Test-Time Scaling）
测试时扩展是指在推理阶段通过增加计算量来提升模型性能的策略。对于深度研究智能体，这意味着允许模型进行更多轮次的工具调用、搜索和推理来解决更困难的问题。常见策略包括增加交互轮数、多次采样取最优结果等。本文提出的验证引导测试时扩展是一种更精细的策略，通过显式验证来指导计算资源的分配。
本文的第三大贡献就是提出了一种新的测试时扩展策略——验证引导的测试时扩展，这是理解本文核心创新的关键概念。
GRPO（Group Relative Policy Optimization）
GRPO 是一种强化学习算法，由 Shao et al. (2024) 提出，是 PPO 的变体。其核心思想是对每个查询采样一组 $G$ 个 rollout，然后通过组内相对优势进行策略更新。优势估计公式为 $\hat{A}_i = (r_i - \text{mean}(r_j)) / \text{std}(r_j)$，其中 $r_i$ 是第 $i$ 个样本的奖励。这种方法避免了训练额外的 critic 网络，降低了计算开销。
本文使用 GRPO 作为强化学习阶段的优化算法，SFT 之后通过 GRPO 进一步优化模型，实验表明 RL 阶段平均带来 +2.6 的性能提升。
知识图谱 QA 合成
知识图谱 QA 合成是一种自动生成多跳问答对的方法。通过遍历知识图谱中的实体和关系，从图结构中构造需要多步推理才能回答的问题。常见做法包括前向搜索（从问题出发找答案）和逆向搜索（从答案出发构造问题路径）。该方法的优势是能系统地生成需要复杂推理的问题，但难点在于保证答案的唯一性和正确性。
本文提出了一种答案优先的逆向构造方法和对抗性验证来改进知识图谱 QA 合成，这是数据合成管线的核心创新之一。
实体混淆（Entity Obfuscation）
实体混淆是多跳 QA 数据合成中广泛使用的技术，用于增加问题难度。其做法是将问题中的关键实体名称替换为模糊的描述性信息，迫使模型需要通过多步推理才能识别出正确实体。例如，将「爱因斯坦」替换为「1921年诺贝尔物理学奖得主」。然而，过度混淆可能导致问题存在多个有效答案。
实体混淆是现有方法中导致答案非唯一性的主要原因，本文通过对抗性唯一性验证来解决这一问题，是论文核心动机之一。
上下文丢弃（Discard All）策略
Discard All 是一种上下文管理策略，当智能体在推理过程中触发退化信号（如达到最大步数或未能解决问题）时，丢弃已积累的工具调用历史和中间推理输出，仅保留原始查询和系统提示，从全新上下文重新开始。这种重置机制允许智能体探索新的搜索路径，减少沿单一轨迹的错误传播。
Discard All 策略与验证引导测试时扩展相结合，是本文推理阶段的核心改进，实验显示两者配合平均带来 +12.1 的性能提升。
研究动机
当前深度研究智能体面临一个关键瓶颈：在 QA 数据合成、轨迹构建和推理三个核心阶段缺乏显式验证机制，导致错误逐级传播、整体性能退化。具体来说，在数据合成阶段，现有方法广泛使用实体混淆技术来增加问题难度，但这种做法往往产生非唯一或不正确的答案——例如一个精心构造的多跳问题可能因为混淆过度而存在多个合法答案，当这样的数据被用作训练的 ground truth 时，会导致训练偏差和不稳定。在轨迹构建阶段，大多数现有工作依赖强教师模型生成 ReAct 风格的轨迹，这些轨迹通常能直接到达正确最终答案，但缺乏显式验证步骤，导致训练出的智能体倾向于接受早期的低质量结果，过早终止探索。在推理阶段，系统通常不对中间步骤和最终答案进行验证，错误的中间状态和不正确的结论未经检查就传播下去。这些问题在长时域任务中尤为严重，因为工具调用轮次可能达到数百次，每一步的微小错误都可能被放大。
本文的目标是本文的目标是提出一个以验证为中心的框架设计，在三个关键阶段同时引入显式验证机制，从而训练出一个高效的 8B 规模深度研究智能体，使其能够逼近甚至超越 30B 规模智能体的性能。具体目标包括：（1）在 QA 数据合成中引入验证机制，确保生成的问答对具有唯一正确答案且难度适当；（2）在轨迹构建中注入显式验证模式，让智能体学会在中间步骤和最终答案处进行自我验证；（3）在推理阶段利用智能体自身作为验证器，实现更有效的测试时扩展。论文还设定了一个具体的性能目标：在 BrowseComp 和 BrowseComp-ZH 等挑战性基准上超越现有 8B 规模智能体，并在最大 600 次工具调用的预算下逼近 30B 规模智能体的表现。
与已有工作不同的是，本文的独特切入角度在于将「验证」作为一个统一的设计原则贯穿整个智能体开发流程，而不是孤立地优化某个单一阶段。现有工作通常分别改进数据合成、轨迹构建或测试时扩展中的某一个，但很少系统性地在所有阶段引入验证。本文的核心洞察是：验证在深度研究任务中具有「易验证性」（easy-to-verify）特征——直接解决一个 needle-in-a-haystack 任务很难，但验证一个给定答案是否正确则相对可靠。基于这一洞察，作者设计了三个互补的验证机制：数据合成阶段的对抗性唯一性验证、轨迹构建阶段的多智能体验证和反射重采样、以及推理阶段的验证器引导测试时扩展。这种端到端的验证中心设计是本文与现有工作的本质区别。
核心方法
本文的方法框架可以分为三大模块：验证数据合成、验证驱动轨迹构建、验证器引导测试时扩展。整体思路是：首先通过高质量的 QA 数据合成确保训练数据的质量，然后通过注入验证模式的轨迹构建生成包含显式验证行为的训练数据，最后在推理阶段利用验证器引导更有效的测试时扩展。这三个模块依次对应训练流程的三个阶段：数据准备、监督微调（SFT）和强化学习（RL）、以及推理。具体来说，数据合成阶段采用两条互补管线——基于知识图谱的合成（利用图结构构造多跳问题并通过对抗验证确保答案唯一性）和基于智能体的网页探索合成（让智能体在真实网络环境中发现信息并构造问题）；轨迹构建阶段设计了多智能体验证框架和验证-反射重采样策略；测试时扩展阶段则结合上下文丢弃策略和验证器引导的候选答案验证。最终，基于 Qwen3-8B 基础模型，通过 SFT 和 GRPO 强化学习训练出 Marco DeepResearch 智能体。
本文的核心创新点是将「验证」作为统一设计原则，在 QA 数据合成、轨迹构建和测试时扩展三个阶段同时引入显式验证机制。与已有方法的本质区别体现在三个方面：第一，在数据合成方面，现有方法通常使用实体混淆来增加问题难度，但无法保证答案唯一性；本文提出了答案优先的逆向构造方法和对抗性唯一性验证，通过 Generator-Attacker-Analyzer 三角色迭代循环来逐步增加约束条件，确保每个问题只有一个正确答案。第二，在轨迹构建方面，现有方法生成的 ReAct 轨迹通常不包含验证步骤；本文设计了包含验证器子智能体的多智能体框架，让轨迹自然地记录验证-修正行为，并且对失败轨迹进行诊断和重采样。第三，在测试时扩展方面，现有方法主要通过增加交互轮数来扩展计算；本文提出利用智能体自身作为验证器，对每个候选答案进行独立验证，并在所有候选中进行联合验证选出最终答案。这种端到端的验证设计使得 8B 模型能够在多个基准上逼近 30B 模型的表现。
方法步骤详情
方法的具体步骤如下：（1）验证数据合成——基于知识图谱的合成采用答案优先逆向构造：首先采样满足结构和内容约束的答案实体，然后利用前沿模型提取五维结构化属性画像（空间、时间、数值、分类、实体关系），接着从答案实体反向搜索中间证据节点，最后通过对抗性唯一性验证迭代地增加约束条件直到收敛，最多运行 10 轮。基于智能体的网页探索合成采用证据优先问题构造：问题智能体先探索网页构建证据图，搜索智能体独立求解，验证智能体进行事实一致性和证据接地检查，未通过的样本进行诊断迭代优化。（2）验证驱动轨迹构建——设计主智能体、搜索子智能体和验证器子智能体三角色框架，主智能体分解问题，搜索子智能体求解子任务，验证器子智能体独立验证子任务输出和最终答案；对失败轨迹，调用验证器诊断失败原因并产生反馈，基于反馈重新采样轨迹。（3）训练——使用 token 级交叉熵损失进行 SFT，仅对助手响应 token 计算损失，损失函数为 $\mathcal{L}_{SFT}(\theta) = -\sum_{t=1}^{T} m_t \log P_\theta(x_t | x_{<t})$，其中 mask $m_t$ 在指令和工具响应 token 处为 0；然后使用 GRPO 进行强化学习，采用两级 LLM-as-Judge 奖励管线（Qwen-Turbo-Latest 作为主判断器，不确定情况升级到 GPT-4.1）。（4）验证器引导测试时扩展——在推理时，当触发退化信号时执行 Discard All 策略重置上下文；每当智能体产生候选答案，进行规则检查和智能体作为判断器的验证；如果 $t < T_{max}$ 则继续探索，当 $t = T_{max}$ 时对所有候选进行联合验证生成最终答案。
技术新颖性
本文的技术新颖性体现在多个层面。首先，答案优先逆向构造与对抗性唯一性验证的结合是一种全新的 QA 数据合成范式。现有方法要么前向生成问题（容易产生模糊答案），要么简单过滤（浪费大量数据）。本文的 Generator-Attacker-Analyzer 三角色循环具有单调性保证：每轮至少增加一个约束，每个新约束至少消除部分反例集，从而保证最终约束集对目标实体具有高置信度的唯一性。其次，验证驱动的轨迹构建将验证行为作为训练信号注入，这与现有的纯模仿学习方法形成鲜明对比。本文发现包含验证模式的轨迹能够教会模型学会在推理过程中主动进行中间检查和自我修正。第三，验证器引导测试时扩展是一种新的推理时策略，它将 Discard All 上下文管理与验证器引导的候选评估相结合，实现了更有效的计算分配。实验表明这种策略平均带来 +12.1 的性能提升，远超简单的增加轮数策略。此外，将智能体自身作为验证器的设计也具有巧妙的自举特性：随着模型能力提升，验证能力也随之增强，形成良性循环。
实验结果
实验结果表明 Marco DeepResearch 在多个挑战性深度搜索基准上显著超越 8B 规模的开源深度研究智能体。在 BrowseComp 上达到 31.4（超过 MiroThinker-v1.0-8B 的 31.1），在 BrowseComp-ZH 上达到 47.1（大幅超过同规模最佳的 MiroThinker-v1.0-8B 的 40.2，提升 +6.9），在 WebWalkerQA 上达到 69.6（超过 AgentCPM-Explore-4B 的 68.1），在 xBench-DeepSearch-2505 上达到 82.0（与 30B 规模的 SMTL-30B-300 持平）。更重要的是，Marco DeepResearch 在 BrowseComp-ZH 上逼近甚至超越了多个 30B 规模智能体（如 Tongyi DeepResearch-30B 的 46.7 和 MiroThinker-v1.0-30B 的 47.8）。消融实验进一步验证了各设计的贡献：QA 数据验证在 BC-ZH 上带来 +2.3 提升，在 GAIA 上 +1.7；多智能体验证轨迹构建平均 +2.03 提升；RL 训练平均 +2.6 提升；验证器引导测试时扩展平均 +12.1 提升（GAIA +8.7，xBench-DS-2505 +7.0，BC-200-sample +15.0，BC-ZH +17.8）。上下文窗口从 64K 扩展到 128K 也带来一致的提升（BC-200-sample +2.3，BC-ZH +0.8）。数据统计分析显示，本文合成的数据在 token 长度和工具调用轮次上都显著超过现有开源数据集，且内在难度更高（可回答率仅 29.0% vs 开源数据的 51.7%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BrowseComp（网页信息检索） | 准确率（%） | 31.4 | MiroThinker-v1.0-8B: 31.1, RE-TRAC-4B: 30.0, Tongyi-DR-30B: 43.4 | 超越所有 ≤8B 智能体，逼近 30B 规模的 Tongyi-DR-30B |
| BrowseComp-ZH（中文网页信息检索） | 准确率（%） | 47.1 | MiroThinker-v1.0-8B: 40.2, RE-TRAC-4B: 36.1, Tongyi-DR-30B: 46.7 | 超越所有 ≤8B 智能体（+6.9），超越 Tongyi-DR-30B（+0.4） |
| GAIA text-only（真实世界多步问题） | 准确率（%） | 69.9 | RE-TRAC-4B: 70.4, MiroThinker-v1.0-8B: 66.4, MiroThinker-v1.0-30B: 73.5 | 接近最佳 ≤8B 智能体 RE-TRAC-4B（差 0.5） |
| WebWalkerQA（多步网页导航） | 准确率（%） | 69.6 | AgentCPM-Explore-4B: 68.1, MiroThinker-v1.0-8B: 60.6, Tongyi-DR-30B: 72.2 | 超越所有 ≤8B 智能体，逼近 30B 规模智能体 |
| xBench-DeepSearch-2505（深度搜索） | 准确率（%） | 82.0 | SMTL-30B-300: 82.0, MiroThinker-v1.0-8B: 60.6, DeepSeek-V3.2: 78.0 | 与 30B 规模 SMTL 持平，大幅超越所有 ≤8B 智能体（+12.0） |
| xBench-DeepSearch-2510（深度搜索新版本） | 准确率（%） | 42.0 | AgentCPM-Explore-4B: 34.0, MiroThinker-v1.0-8B: 34.0, DeepSeek-V3.2: 55.7 | 超越所有 ≤8B 智能体（+8.0），但与顶级基础模型仍有差距 |
局限与改进
本文存在若干值得关注的局限性。首先，虽然实验在六个基准上展示了优异性能，但这些基准主要集中在网页信息检索和多步搜索任务上，论文未涉及多模态深度研究（如需要理解图表、视频的场景），也未在代码生成、数学推理等其他类型的长时域任务上进行验证。其次，验证器引导测试时扩展虽然有效，但显著增加了推理成本——最大 600 次工具调用的预算在实际应用中可能导致较高的延迟和 API 调用费用，论文未详细分析计算成本与性能提升之间的权衡。第三，数据合成管线依赖于已有的知识图谱（用于基于图的方法）和真实网页环境（用于智能体探索方法），前者受限于知识图谱的覆盖范围和质量，后者受限于网页内容的时效性和可访问性。第四，强化学习阶段的奖励函数采用二元的正确/不正确判断，这种粗糙的奖励信号可能无法充分引导模型学习复杂的验证行为。最后，论文未提供详细的推理延迟和吞吐量分析，对于实际部署场景的可扩展性评估不足。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，对抗性唯一性验证的收敛性虽然在理论上具有单调性保证（每轮至少增加一个约束），但论文未分析在实践中需要多少轮才能收敛，以及在约束空间较大时的计算开销。如果某些问题需要接近 10 轮才能收敛，合成效率可能成为瓶颈，建议未来工作探索更高效的约束搜索策略。第二，多智能体轨迹到单智能体 ReAct 轨迹的转换过程可能损失信息，论文未详细分析这种转换对验证行为保留程度的影响，建议对比直接使用多智能体格式训练的效果。第三，两级 LLM-as-Judge 奖励管线虽然平衡了质量和成本，但依赖外部模型（GPT-4.1）进行二级判断可能存在一致性和可复现性问题，建议探索更独立的奖励设计。第四，论文合成的 12K QA 样本和 2K RL 样本规模相对较小，可能限制了模型的泛化能力，建议探索更大规模的验证数据合成。第五，实验中未与其他测试时扩展策略（如 Best-of-N、多数投票等）进行对比，无法充分评估验证器引导策略的相对优势。
未来方向
基于本文的成果，未来研究可以从多个方向延伸。首先，验证中心设计可以扩展到多模态深度研究场景，将视觉验证（如图表理解、视频分析）融入框架，这对于真实世界的复杂研究任务至关重要。其次，对抗性验证的 Generator-Attacker-Analyzer 范式可以应用于其他需要保证答案唯一性的场景，如数学推理、代码验证等。第三，当前的测试时扩展策略使用固定的 $T_{max}$ 预算，未来可以探索自适应预算分配，根据问题难度动态调整验证次数和探索深度。第四，作者提到的自举特性（智能体自身作为验证器，能力提升后验证也更强）可以进一步发展为持续学习框架，让模型在部署后通过自我验证不断提升。第五，多智能体验证框架可以扩展为更复杂的协作模式，如引入专门的事实核查智能体、来源可靠性评估智能体等。最后，本文的 RL 训练使用二元奖励，未来可以探索更细粒度的奖励设计，如基于推理链质量的中间奖励。
复现评估
本文在可复现性方面具有一定优势但也存在挑战。优势方面：论文提供了开源代码仓库（https://github.com/AIDC-AI/Marco-DeepResearch），基于 Qwen3-8B 开源基础模型，使用的开源训练数据（2WikiMultihopQA、BeerQA、ASearcher 等）均可公开获取，训练框架基于 Megatron 也是开源的。挑战方面：合成数据管线依赖实时网页探索，网页内容的时效性可能导致无法完全复现相同的数据集；强化学习阶段使用了内部电商数据集，外部研究者无法获取；两级奖励管线依赖 GPT-4.1 作为二级判断器，需要 OpenAI API 访问权限且结果可能随模型更新而变化；64 A100 GPU 的训练算力要求较高，但 SFT 和 RL 阶段的具体训练时长未详细说明。总体而言，核心方法和架构可以复现，但完全复现所有实验结果需要显著的算力投入和数据准备工作。
论文图表