推理时验证的规模化：基于测试时准则引导验证的自进化深度研究智能体 Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification
通过分解式准则验证实现Deep Research Agent的推理时自进化
前置知识
Deep Research Agent (DRA)
深度研究智能体是一类能够自主进行多步任务的AI系统，包括网页浏览、代码生成、文件处理和多步推理等能力。代表性的商业系统包括OpenAI Deep Research、Google Gemini Deep Research、Perplexity Deep Research和Kimi-Researcher等。开源框架如SmolAgents、WebAgent家族、OWL和Cognitive Kernel-Pro (CK-Pro)等。这些系统通过LLM/VLM驱动，能够自主规划、搜索、整合信息并生成研究报告，但其输出仍然容易受到错误动作、API故障、幻觉等问题的影响。
本文的研究对象就是DRA，理解DRA的能力和局限性是理解本文问题动机的基础。
验证的不对称性 (Asymmetry of Verification)
这是一个核心概念，指的是验证一个答案的正确性通常比从头生成一个正确答案要容易得多。例如，检查"源X是否声明了Y"比自主找到正确的源并得出结论要简单。本文利用这一不对称性，将复杂的验证问题分解为更小的、可验证的子问题，从而大幅降低验证难度并提高准确性。
这是DeepVerifier的核心思想基础，理解这一概念才能理解为什么分解式验证优于直接验证。
推理时扩展 (Test-Time Scaling)
推理时扩展是指在模型推理阶段（而非训练阶段）通过增加计算量来提升性能的技术。常见方法包括并行采样、多数投票、Best-of-N选择等。本文提出了一种新的推理时扩展范式：通过迭代验证和反馈来实现自进化，而非简单地增加采样数量。在这种设置下，智能体通过评估自己生成的答案、产生迭代反馈和改进来逐步提升性能。
本文的研究主题就是推理时扩展的验证版本，与传统的推理时扩展方法形成对比。
准则引导的奖励 (Rubrics-Based Rewards)
准则是结构化的评估标准，用于系统地评判智能体输出的质量。本文基于DRA失败分类学推导出五维准则：Finding Sources（信息源获取）、Reasoning（推理）、Problem Understanding（问题理解）、Action Execution（动作执行）和Trajectory Efficiency（轨迹效率），每个维度下有Excellent/Good/Needs Improvement/Poor四个等级。这些准则为验证提供了结构化的、有区分度的信号，替代了传统的二元判断。
准则是DeepVerifier的核心输出格式，为智能体提供了具体、可操作的反馈，而非简单的正确/错误判断。
自进化 (Self-Evolution)
自进化是指智能体在不进行额外训练的情况下，通过迭代地验证和改进自身输出来提升性能的过程。具体流程为：智能体生成答案 → DeepVerifier验证并提供反馈 → 智能体根据反馈重新尝试 → 重复直到达到满意结果或超过重试限制。这种方法的关键优势在于无需额外训练数据或人工监督，即可实现性能提升。
自进化是本文的核心应用场景，展示了验证框架如何在实际部署中发挥作用。
研究动机
深度研究智能体(DRA)在自动化知识发现和复杂问题求解方面展现出强大能力，但其输出仍然存在严重的可靠性问题。当被要求识别研究者的最早发表论文时，智能体可能依赖不完整的二手资料并给出不准确的结果。在涉及数十个页面和数百个动作的长视野任务中，人工监督变得不可行。现有的推理时改进方法主要集中在扩展输出token数量或在并行rollout中进行选择，例如Zhu等人(2025c)提出的并行采样最优轨迹搜索，以及Gonzalez-Pumariega等人(2025)采用的跨迭代叙事驱动聚合。然而，基于Reflexion的方法虽然使用文本反馈来引导智能体响应，但反馈生成本身就是一个需要复杂推理能力的困难任务。现有方法的共同问题是：不同rollout中容易出现相同的失败模式，导致整体结果不可靠。
本文的目标是本文的目标是建立一种推理时验证的规模化范式，通过利用验证的不对称性来提升DRA的可靠性。具体而言，作者希望实现三个层次的目标：第一，构建一个能够有效检测DRA输出错误的验证框架，其F1分数显著优于vanilla agent-as-judge和LLM judge基线；第二，通过迭代验证和反馈实现测试时的自进化，使智能体在不进行额外训练的情况下持续改进性能；第三，创建高质量的SFT数据集DeepVerifier-4K，使开源模型也能获得强大的验证和反思能力。
与已有工作不同的是，本文的独特切入角度在于三个方面。首先，不同于以往专注于增强策略能力的后训练(post-training)方法，本文提出了一种替代范式：通过验证来实现推理时的自进化。其次，本文系统地利用了验证的不对称性——将复杂验证问题分解为更简单的子任务，这与之前的整体式判断(holistic judging)方法形成鲜明对比。第三，本文构建了首个DRA失败分类学，将智能体失败系统地分类为5大类13子类，这为验证提供了结构化的指导。此外，现有工作主要关注网页导航任务、通用推理任务或软件开发任务的验证，而本文首次研究了DRA响应的验证问题。
核心方法
DeepVerifier框架采用三阶段多模块架构，包括分解模块(Decomposition Module)、验证模块(Verification Agent)和评判模块(Judge Module)。整体思路是利用验证的不对称性，将复杂的验证问题分解为更小、更易管理的子问题。分解模块首先对智能体轨迹进行摘要，然后基于失败分类学识别潜在错误，最后制定针对性的后续问题。验证模块依次检索这些后续问题的答案。评判模块基于轨迹摘要、潜在错误列表、后续问题及其答案来评估未验证的答案。这种方法的核心直觉是：检查"源X是否声明了Y"比从头重新解决整个复杂任务要容易得多，从而避免了传统方法中验证者面临与原始智能体相同的推理错误的问题。
本文的核心创新点在于利用验证的不对称性实现分解式验证，这与已有方法有本质区别。传统的agent-as-judge方法让评判者重新解决整个任务，导致评判者容易犯与原始智能体相同的错误。LLM judge方法虽然不需要重新解决任务，但缺乏外部证据支持，难以识别细微的推理错误或幻觉。DeepVerifier的关键创新是：将验证分解为针对特定脆弱点的后续问题，每个问题都可通过外部证据回答，从而实现更精确的错误检测。实验表明，移除验证模块后精度保持100%但召回率仅为14.29%，移除分解模块后精度86.96%但召回率47.62%，而完整的DeepVerifier达到75%精度和71.43%召回率，F1分数为73.17%，比基线高出12-48%。
方法步骤详情
DeepVerifier的工作流程包含以下具体步骤：(1) 轨迹摘要(Trajectory Summarization)：分解模块首先生成轨迹的紧凑、步骤索引的摘要，记录每步访问的源和获取的具体信息（事实、数字、引文），平均轨迹长度为8.2M token，远超任何LLM的上下文窗口，因此摘要至关重要。(2) 潜在错误识别(Potential Error Identification)：基于摘要和失败分类学，分解模块扫描与已知失败模式匹配的行为，产生⟨行为⟩⇒⟨潜在错误+分类标签⟩的配对发现，并附带简短的解释。(3) 后续问题制定(Follow-Up Question Formulation)：分解模块针对标记的脆弱点制定高杠杆的后续问题，每个问题可通过外部证据回答，设计为决定性地确认或反驳有风险的声明，通常限制为最多3对源-问题对。(4) 顺序验证：验证模块依次检索后续问题的答案，使用CK-Pro智能体作为验证智能体，具备网页搜索、截图和代码执行能力。(5) 评判与反馈：评判模块基于轨迹摘要、潜在错误列表、后续问题及其答案进行评估，给出1-4分的评分（1=完全错误，2=大部分错误，3=大部分正确，4=完全正确），并提供可操作的纠正反馈。
技术新颖性
本文的技术新颖性体现在多个方面。首先，DRA失败分类学是首个系统分类智能体失败的框架，通过迭代分析和标注555个错误点，将失败分为5大类（Finding Sources、Reasoning、Problem Understanding、Action Errors、Max Step Reached）和13个子类，其中Finding Sources是最频繁的失败点，对应咨询错误证据和依赖通用搜索等错误。其次，分解式验证方法是首个将验证不对称性系统应用于DRA验证的框架，通过将复杂验证分解为可验证的信息检索子任务，克服了之前整体判断方法的局限性。第三，DeepVerifier-4K是首个专注于DRA验证的SFT数据集，包含4,646个高质量的prompt-response对，强调反思和自我批评能力。第四，推理时验证规模化是首次在DRA领域展示验证的规模化效应，证明随着反馈轮次增加，智能体性能持续提升，峰值出现在第4轮左右。
实验结果
本文的实验结果展示了DeepVerifier在多个维度的有效性。在验证有效性方面（RQ1），DeepVerifier在GAIA-Web数据集上达到75%精度、71.43%召回率、75.56%准确率和73.17% F1分数，显著优于移除验证模块的基线（100%精度但仅14.29%召回率，F1=25%）和移除分解模块的基线（86.96%精度、47.62%召回率，F1=61.54%）。在推理时扩展方面（RQ2），Claude-3.7-Sonnet在GAIA-Full上从52%提升至59%（峰值60.1%），GAIA-Web从52%提升至62%以上（峰值63.5%），最佳增益为8%。GPT-4.1从29.5%提升至32.5%（峰值）。在其他数据集上，XBench-DeepSearch从41.0提升至47.0（最佳+6.0），BrowseComp从5.0提升至10.0（最佳+5.0）。在开源模型增强方面（RQ3），DeepVerifier-8B（在Qwen3-8B上微调）达到32.2%准确率，比无反思版本提升5.5%，显著优于仅用CK-Pro训练的CK-Pro-8B（提升2.6%）和未训练的Qwen3-8B（提升极小）。过渡率分析显示，incorrect→correct的过渡率在第1轮最高为18.99%，随后快速衰减，而correct→incorrect的过渡率较弱但持续存在，两者的相互作用产生了约第4轮的性能峰值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GAIA-Full (Claude-3.7-Sonnet) | Accuracy (%) | 60.1 (peak), 58.93 (final at round 10) | 52.22 (round 0) | +7.90 (best), +6.71 (final) |
| GAIA-Web (Claude-3.7-Sonnet) | Accuracy (%) | 63.33 (peak), 62.22 (final at round 10) | 51.11 (round 0) | +12.22 (best), +11.11 (final) |
| GAIA-Full (GPT-4.1) | Accuracy (%) | 32.53 (peak/final) | 29.51 (round 0) | +3.01 (best), +2.41 (final) |
| XBench-DeepSearch (Claude-3.7-Sonnet) | Accuracy (%) | 47.0 (peak), 44.0 (final) | 41.0 (round 0) | +6.0 (best), +3.0 (final) |
| BrowseComp (Claude-3.7-Sonnet) | Accuracy (%) | 10.0 (peak), 9.0 (final) | 5.0 (round 0) | +5.0 (best), +4.0 (final) |
| GAIA-Full (DeepVerifier-8B) | Accuracy (%) | 32.21 (peak/final) | 26.73 (round 0) | +5.48 |
| GAIA-Web 验证 (DeepVerifier) | F1 Score | 73.17 | 61.54 (w/o Decomposition), 25.00 (w/o Verification) | +11.63 vs w/o Decomposition, +48.17 vs w/o Verification |
局限与改进
本文作者承认了两个主要局限性。第一，对模型能力的依赖性：DeepVerifier依赖于模型精确遵循准则、进行仔细的交叉检查和表达结构化反馈的能力。当底层模型较弱或缺乏足够的工具使用能力时，反馈质量会下降，导致测试时增益噪声较大。DeepVerifier-4K可以通过SFT帮助缓解这一局限性。第二，测试时成本和延迟：虽然DeepVerifier可以最小化冗余的问题解决步骤，但迭代验证仍然引入额外的推理步骤（通常伴随额外的工具调用），增加了运行时间和token使用量。从独立观察来看，本文还存在以下局限性：(1) 性能峰值通常出现在第4轮左右，之后会出现correct→incorrect的回归，说明验证器的精度和召回率仍有改进空间；(2) 在BrowseComp等极端困难数据集上的绝对性能仍然较低（峰值仅10%），表明方法在处理极难任务时的上限有限；(3) 失败分类学是基于WebAggregatorQA数据集构建的，可能存在领域偏差，对其他类型任务的泛化能力有待验证；(4) 实验主要在GAIA等英文基准上进行，对中文和其他语言的适用性需要进一步研究。
独立分析的弱点
本文存在几个值得关注的弱点。首先，验证器的精度-召回权衡仍不理想：在GAIA-Web上的消融实验显示，移除验证模块后精度达到100%但召回率仅为14.29%，说明当前验证器在保守判断时漏掉了大量错误案例。改进方向可以是引入更细粒度的置信度校准或使用集成验证方法。其次，correct→incorrect回归问题：过渡率分析显示每轮都有一定比例的正确答案被错误拒绝（第1轮为12.79%），这导致后期性能下降。可以通过引入更严格的一致性检查或多轮投票机制来缓解。第三，分解模块的后续问题数量限制为最多3对，可能不足以覆盖所有潜在错误点。可以探索自适应的问题数量策略。第四，失败分类学的构建仅基于90个任务的2997个动作，样本量相对有限，可能无法覆盖所有可能的失败模式。可以扩展分类学构建的数据规模和多样性。第五，实验中使用Claude-3.7-Sonnet作为主要骨干模型，对其他模型族（如Llama、Mistral等）的适用性未充分验证。
未来方向
作者提出了几个有前景的未来研究方向。首先，随着反思增强的强化学习(reflection-enhanced reinforcement learning)获得更多关注，本文的分类学和数据集可以作为可靠自验证和奖励信号的基础，用于基于RL的智能体训练。其次，可以将DeepVerifier的分解原则自然地扩展到报告生成(report generation)场景，验证生成的报告中每个声明是否有证据支持。第三，DeepVerifier-4K数据集可以进一步扩展，纳入更多领域和任务类型的验证轨迹，提升开源模型的验证能力。基于本文成果可以延伸的方向包括：(1) 将验证框架与其他推理时扩展方法（如Best-of-N、多数投票）结合，实现更强大的集成验证系统；(2) 探索验证器的自改进机制，使验证器本身也能通过反馈循环提升能力；(3) 将失败分类学应用于智能体训练的课程设计(curriculum design)，优先训练智能体在最常见失败类型上的能力；(4) 开发更高效的验证策略，通过预测哪些步骤最可能出错来优先验证，减少不必要的验证开销。
复现评估
本文的复现性较好。代码方面，作者开源了两个GitHub仓库：Tencent/CognitiveKernel-Pro（CK-Pro框架）和yxwan123/DeepVerifier（DeepVerifier实现），这大大降低了复现门槛。数据方面，DeepVerifier-4K数据集（4,646个高质量prompt-response对）已被公开发布，可用于训练开源模型的验证能力。基准数据集方面，GAIA、XBench-DeepSearch和BrowseComp均为公开基准。算力方面，本文使用的主要模型Claude-3.7-Sonnet和GPT-4.1是商业API，需要相应的API访问权限和费用；开源模型实验使用Qwen3-8B，需要中等规模的GPU资源进行微调。复现难度方面，框架相对复杂（三模块架构），但作者提供了详细的提示词（Appendix B）和验证准则（Appendix C），有助于理解和复现。需要注意的是，智能体轨迹的平均长度为8.2M token，涉及大量工具调用，因此完整的验证流程需要较长的运行时间和较高的API成本。
论文图表