← 返回 2026-06-02

FineVerify：基于细粒度自验证的智能搜索测试时计算扩展框架 FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search

James Xu Zhao, Hui Chen, Bryan Hooi, See-Kiong Ng 📅 2026-05-30 👍 8 2026-07-13 08:36

候选选择智能搜索测试时计算扩展自验证证据验证

通过将问题分解为可检查的子问题并逐条验证候选答案，提升智能搜索系统的准确性和可解释性。

前置知识

测试时计算扩展

测试时计算扩展是指在模型推理时分配更多计算资源以提升性能的技术。常见方法包括采样多个候选答案（如自一致性）、扩大搜索路径（如思维树）、延长推理长度（如深度思维链）等。这些方法的核心思想是与其训练更大的模型，不如让现有模型在推理时思考更多次，从而提高准确率。在数学和代码任务上，这种方法已经取得了显著成功。

本文研究的就是如何在智能搜索任务上进行测试时计算扩展。理解这一概念有助于认识论文在更广泛的研究脉络中的位置，以及为什么需要新的扩展方法来应对智能搜索的特殊挑战。

智能搜索

智能搜索是指语言模型智能体通过主动查询、浏览网页、综合多步证据来回答复杂信息寻求问题的能力。与静态的检索增强生成不同，智能搜索涉及长期探索、多步推理和工具使用。典型流程包括智能体接收问题、规划搜索策略、执行搜索查询、浏览网页内容、综合证据、生成最终答案。这种能力在商业深度研究系统如OpenAI的Deep Research中已有应用。

本文专门针对智能搜索任务设计验证方法。理解智能搜索的特点（长视界探索、多条件验证、稀疏正确答案）对于理解为什么现有测试时扩展方法会失效至关重要。

模型校准

模型校准指的是模型输出的置信度是否真实反映其预测的正确概率。一个完美校准的模型，当它说某个答案有百分之九十置信度时，这个答案确实有百分之九十的概率是正确的。在现实中，大语言模型往往过度自信或自信不足，导致自报告的置信度不可靠。校准问题在复杂任务中尤为严重，因为模型难以准确评估自身在多条件问题上的表现。

本文指出，现有的测试时扩展方法（如Best-of-N依赖自报告置信度、Confidence Verify依赖整体验证分数）都依赖于模型校准，而智能搜索任务中的多条件特性使得校准更加困难。理解这一局限性有助于理解FINEVERIFY为何采用显式的、基于证据的验证规则而不是隐式的模型估计。

研究动机

现有测试时扩展方法在智能搜索任务上存在根本性缺陷。多数投票依赖于答案频率，但在智能搜索中，正确答案往往稀疏地出现在许多看似合理的干扰项中，使得频率成为一个弱选择信号。例如，在BrowseComp-Plus数据集上，GPT-5-mini的Pass@1准确率只有百分之四十九点五，这意味着单次采样中正确答案出现的概率很低，因此即使采样四次，多数投票也难以选出正确答案。基于自报告置信度的Best-of-N和基于整体验证分数的Confidence Verify方法依赖于模型校准，但智能搜索问题通常包含多个条件（如时间、地点、人物关系），错误答案可能满足部分条件但失败其他条件，模型难以准确评估整体正确性。实验数据显示，GPT-5-mini在四个基准上的平均Pass@1准确率只有百分之五十九点二，而多数投票、Best-of-N和Confidence Verify等方法只能提升到百分之六十到百分之六十五之间，提升空间有限。

本文的目标是本文的目标是设计一种不依赖于模型校准的测试时扩展方法，通过显式的、基于证据的验证机制来提升智能搜索系统的准确性和可靠性。具体而言，作者希望在不改变候选生成策略的前提下，通过改进候选选择机制来充分利用采样的多个候选答案。此外，作者还希望该方法能提供可解释的验证轨迹，帮助理解为什么选择某个答案，甚至用于审核基准数据集本身的错误。

与已有工作不同的是，本文的独特切入角度是从粒度入手，将复杂问题的验证分解为多个细粒度的局部判断，而不是让模型一次性给出整体分数。与现有方法不同，FINEVERIFY不是问模型这个候选答案有多好，而是问这个候选答案是否满足条件A、是否满足条件B等等，然后根据这些明确的判断来计算得分。这种设计将选择转化为更简单的局部判断，使所有候选都在相同的显式标准下评估，得分数值可以直接比较，并且聚合规则是透明的而非隐式的。此外，当某个候选获得满分时，FINEVERIFY可以提前停止，节省计算资源。

核心方法

FINEVERIFY的整体思路是将复杂问题分解为一组可检查的子问题，然后对每个采样的候选答案逐个验证这些子问题，最后根据验证结果选择得分最高的候选答案。直觉上，验证一个具体候选比从头生成答案要容易得多，因为验证只需要检查给定答案是否满足已知条件，而生成需要探索所有可能的答案空间。FINEVERIFY将这种直觉系统化，通过统一的子问题集、显式的判断规则和透明的聚合机制，将候选选择从隐式的模型估计转化为显式的证据验证。这种方法保留了采样多个候选的探索优势，同时使最终选择更加基于证据且可解释。

FINEVERIFY的核心创新点在于细粒度的证据驱动验证。与现有方法为每个候选分配单个全局分数不同，FINEVERIFY通过共享的可检查子问题集来评估所有候选，最终得分来自明确的逐项判断而非隐式的模型估计。具体而言，FINEVERIFY将问题分解为m个子问题集合Q，每个子问题对应一个正确答案应该满足的条件。对于候选答案a_t，验证器对每个子问题c_i检索证据并分配一个判断j_{t,i}，判断可以是supported、not_found或contradicted，其中supported表示检索到的证据明确确认候选答案满足子问题，contradicted表示证据明确反驳，not_found表示证据不能明确支持或反驳。这些判断被聚合成标量分数s_t等于SCORE(J_t)，选择得分最高的候选。

方法步骤详情

FINEVERIFY的方法步骤包含三个主要阶段，最多运行T轮。第一阶段是问题分解。验证器将输入问题q分解为一组可检查的子问题Q，包含m个子问题。每个子问题c_i对应正确答案应该满足的一个可验证条件。同一组Q被所有候选答案重复使用，确保验证和评分的一致性。第二阶段是迭代提议验证。在第t轮，提议器通过智能搜索为问题q生成候选答案a_t。验证器使用检索到的证据将a_t与每个子问题c_i进行评估，为每个子问题分配判断j_{t,i}，判断可以是supported、not_found或contradicted。验证结果为判断列表J_t。第三阶段是评分、选择和缓存。将判断列表J_t转换为标量验证分数s_t等于SCORE(J_t)，其中分数通过将每个判断映射到数值并取平均计算。保存最高分候选。如果任何候选达到s_t等于1（所有子问题都得到supported），FINEVERIFY提前停止并返回该候选。否则T轮后返回最高分候选。由于FINEVERIFY为每个输入问题固定子问题集，重复候选的验证标准保持不变，允许缓存验证结果并重用存储的判断列表和得分。

技术新颖性

FINEVERIFY的技术新颖性体现在三个方面。第一是粒度创新，首次将智能搜索的候选选择分解为细粒度的子问题验证，而不是整体评估。这种粒度降低使每个判断成为更简单的局部任务，使模型能够更准确地判断具体条件而不是模糊的整体正确性。第二是统一标准创新，所有候选都在相同的显式子问题集下评估，使得候选之间的分数直接可比，避免了现有方法中每个候选独立评分导致的不一致。第三是透明聚合创新，使用明确的规则聚合判断（如将supported映射为1，not_found和contradicted映射为0后取平均），而不是依赖隐式的模型估计。这使得选择过程更加可解释和可调试。此外，FINEVERIFY的早期停止机制和缓存机制也是实用的工程创新。

**Figure 2**: Overview of FINEVERIFY. Agentic search often produces plausible candidates that satisfy some constraints but fail others. Coarse candidate-level methods can fail: voting may favor high-frequency distractors, while single-score selection relies on model calibration. FINEVERIFY uses fine-grained evidence-based scoring.

实验结果

实验结果表明FINEVERIFY在四个智能搜索基准和两个模型上持续提升性能。使用4个采样轨迹时，GPT-5-mini的平均准确率从Pass@1的百分之五十九点二提升到百分之六十七点四，绝对提升8.2个百分点。值得注意的是，在BrowseComp-Plus上，FINEVERIFY仅使用4个样本就提升准确率11.0个百分点。对于Gemini-3-flash，平均准确率从百分之七十一点三提升到百分之七十六点九，提升5.6个百分点。在BrowseComp-Plus和DeepSearchQA上，使用4个样本提升6.0个百分点。FINEVERIFY持续超越测试时扩展基线。对于GPT-5-mini，FINEVERIFY在所有基准上实现最佳准确率，超过多数投票在BrowseComp-Plus上11.0个点、在DeepSearchQA上5.0个点，也超过更强的基线如Best-of-N和Solution Aggregation分别1.1个平均点。对于Gemini-3-flash，FINEVERIFY再次实现最佳平均准确率，超过多数投票和Confidence Verify分别3.8和1.7个平均点。当进一步增加样本时，FINEVERIFY持续改进。随着样本数量从1增加到16，FINEVERIFY的准确率稳步上升，从百分之四十九点五上升到百分之七十，在16个样本时达到20.5百分点的准确率提升。在12个样本时，FINEVERIFY已经达到百分之六十七点五，超越GPT-5在相同评估设置下的性能。

**Table 1**: Accuracy (%) comparison of test-time scaling methods on agentic search benchmarks with two models. All test-time scaling methods use 4 sampled trajectories, while Pass@1 uses one trajectory. FINEVERIFY achieves the best average performance for both models.

**Table 2**: Effect of score function on BrowseComp-Plus and DeepSearchQA. Rule-based mappings are ordered as [contradicted, not_found, supported]. Simple rule-based scoring is effective across models and benchmarks.

**Table 3**: Selection accuracy of candidate selection methods, which measures how often a method selects a correct candidate when the sampled pool contains at least one correct answer. FINEVERIFY outperforms Best-of-N and Confidence Verify.

**Table 4**: Examples of BrowseComp-Plus dataset errors identified and revised using FINEVERIFY. We present two error types and include snippets from FINEVERIFY verification outputs.

**Table 5**: Cases of dataset errors in BrowseComp-Plus identified and revised using FINEVERIFY. Erroneous parts are labeled in red, and revised parts are labeled in green.

**Table 6**: Verification failure caused by an interactive webpage. Although the candidate answer Finland is correct, FINEVERIFY returns not_found for the sub-question because the relevant 2023 evidence is hidden behind a UI interaction.

**Figure 1**: Accuracy on BrowseComp-Plus with GPT-5-mini as the number of sampled trajectories increases from 1 to 16. FINEVERIFY continues to improve with more samples and shows a growing advantage over test-time scaling baselines. At 12 samples, FINEVERIFY exceeds the performance of GPT-5.

**Figure 3**: Cost-accuracy comparison on DeepSearchQA with GPT-5-mini. All test-time scaling methods use 4 sampled trajectories, and the cost includes token consumption and web search API calls. FINEVERIFY achieves high accuracy with moderate cost.

查看结构化数据

任务	指标	本文	基线	提升
BrowseComp-Plus	准确率（GPT-5-mini，4样本）	60.5%	Pass@1: 49.5%	11.0个百分点
DeepSearchQA	准确率（GPT-5-mini，4样本）	77.0%	Pass@1: 70.5%	6.5个百分点
xbench-DeepSearch	准确率（GPT-5-mini，4样本）	53.0%	Pass@1: 45.0%	8.0个百分点
GAIA-Search	准确率（GPT-5-mini，4样本）	81.3%	Pass@1: 76.6%	4.7个百分点
平均（四个基准）	准确率（GPT-5-mini，4样本）	67.4%	Pass@1: 59.2%	8.2个百分点
平均（四个基准）	准确率（Gemini-3-flash，4样本）	76.9%	Pass@1: 71.3%	5.6个百分点
BrowseComp-Plus	准确率（GPT-5-mini，12样本）	67.5%	GPT-5 (单样本): 约47%	超越GPT-5约20个百分点

局限与改进

作者承认的局限性包括：第一，FINEVERIFY需要多次工具调用来检索和比较证据，对于工具使用能力弱的模型可能不够有效。第二，当前的评分函数将所有分解的子问题视为同等重要（简单平均），但某些子问题对于确定正确性可能更重要。第三，评估主要关注短答案、单答案真值的问题，不包括所有形式的智能搜索结果，如答案集、长篇报告或结构化表格，这些可能需要不同的验证和评分策略。作者自己观察到的局限性包括：开放网络验证仍面临挑战。与使用固定离线语料库的BrowseComp-Plus相比，需要实时网络搜索的基准具有较低的选择准确率。例如，GPT-5-mini在BrowseComp-Plus上达到99.2%的选择准确率，但在DeepSearchQA上只有89.0%。这种差距表明开放网络验证引入了额外困难，包括多样化的源质量、复杂的网页结构和可能需要超越静态页面访问的交互。论文展示了一个失败案例：验证器需要检查芬兰在2023年每百万人乳腺X光机数量是否在OECD国家中排名前10，但相关OECD页面默认显示2022年数据，2023年证据需要通过交互式控件更改年份，由于这种交互不改变URL，依赖静态页面访问的验证器无法观察所需证据。

独立分析的弱点

FINEVERIFY的独立分析弱点包括：第一，对工具使用依赖强。验证过程需要多次搜索和文档检索，如果工具（尤其是开放网络搜索）返回不相关或低质量的文档，验证性能会下降。从BrowseComp-Plus（99.2%选择准确率）和DeepSearchQA（89.0%选择准确率）的差距可以看出，开放环境中的验证仍然具有挑战性。改进方向包括开发更强大的搜索工具（如交互式网页导航）、改进查询生成策略、使用多个搜索引擎交叉验证。第二，子问题分解的质量影响性能。如果子问题分解不完整或不准确（遗漏关键条件或引入不相关条件），验证结果可能不可靠。当前方法完全依赖模型自动分解，没有人工或外部验证。改进方向包括通过反馈学习优化分解策略、引入外部验证者检查分解质量、允许分解过程中的迭代改进。第三，评分函数过于简单。当前采用硬编码的规则映射并简单平均，忽略了子问题之间的依赖关系和相对重要性。改进方向包括学习加权函数（根据子问题的重要性或证据质量调整权重）、考虑子问题之间的依赖关系（某些条件是前提，某些是结论）、使用更复杂的聚合规则（如逻辑组合）。第四，对长答案或结构化输出的验证不充分。论文只评估短答案问题，对于长文本生成、代码生成、表格生成等复杂输出，当前的逐项验证框架可能需要调整。

未来方向

作者提出的未来研究方向包括：改进工具使用能力弱的模型的验证，这可以通过简化验证流程、预训练更好的工具使用模型、或设计不依赖复杂工具的验证策略来实现。探索自适应评分函数，根据子问题的重要性或证据质量分配权重，这可以通过重要性标注、元学习或强化学习来实现。扩展评估范围，包括答案集、长篇报告、结构化表格等更复杂输出形式，这需要设计相应的验证和评分策略。基于成果可延伸的未来研究方向包括：将FINEVERIFY与训练方法结合，如通过验证反馈训练更好的提议器或验证器，形成迭代改进循环。将FINEVERIFY应用于其他需要多条件验证的领域，如事实核查、法律文档审查、科学文献验证等。探索更细粒度的验证粒度，如段落级、句子级甚至事实级的验证，以进一步提高验证精度。研究验证失败案例的自动分析和诊断，帮助理解为什么某些候选无法正确验证，并相应改进系统。探索跨候选的验证策略，如识别多个候选的共同错误模式或相互矛盾的证据，以提高整体验证可靠性。

复现评估

论文提供了相对完整的复现信息。作者表示代码和数据将在GitHub开源（截至论文发布时尚未完全公开，但承诺可用）。实验使用的模型是公开API访问的GPT-5-mini和gemini-3-flash-preview，这些模型可以通过各自的官方平台获得。评估使用的四个基准中有三个是开源的，xBench-DeepSearch使用中文问题，论文说明使用原始中文问题。实验设置在附录中详细描述，包括提示词、评估方法、参数设置等。主要实验在单个NVIDIA H200 GPU上运行用于本地语料库检索，Web搜索使用提供商的原生工具。算力需求相对适中，主要是API调用成本而非本地GPU。论文报告了成本分析，包括token使用和网络搜索API调用，显示FINEVERIFY在中等成本下实现高准确率。复现难度中等，主要挑战在于四个基准中某些数据集访问需要许可、Web搜索API需要申请、提示词可能需要针对特定模型微调、完整的200问题评估可能成本较高。但整体上，如果代码和数据开源，研究者应该能够复现主要实验结果。

论文图表

**Figure 4**: The OECD mammography-machines indicator page displays different evidence after user interaction. The default view shows 2022 data, while changing the year control displays 2023 data. The URL remains unchanged across both states.
该图是Table 6所述失败案例的可视化。图左侧显示OECD乳腺X光机指标页面的默认状态，显示年份为2022。图右侧显示点击年份控件后的状态，显示年份变为2023，同时底部的注释指示用户交互改变了页面状态。图底部强调URL remains unchanged，指出两种状态下URL保持不变。图中还标注了候选答案芬兰是正确的，但验证器无法获取2023年证据。

这个图对理解论文局限性至关重要，它直观地展示了开放网络验证的技术挑战：交互式网页。当网页内容的变化不反映在URL中时，依赖静态页面检索的验证器无法获取需要用户交互才能访问的内容。这个例子说明FINEVERIFY虽然设计精良，但在现实世界的Web环境中仍然面临工程挑战。图中的URL remains unchanged标注特别重要，因为它解释了为什么传统的URL-based检索方法会失败。这个局限性提醒读者，在将FINEVERIFY应用于开放网络搜索任务时，可能需要更强大的网页导航能力或替代的验证策略。

Algorithm 1: Procedure of FINEVERIFY. Given an input question, the verifier first decomposes it into checkable sub-questions. The method then iteratively samples candidate answers, verifies each candidate against the sub-questions, caches previous verification results.

该算法伪代码详细描述了FINEVERIFY的完整流程。输入是问题q、提议器P、验证器V和轮数T，输出是最终答案。步骤1：验证器将q分解为子问题Q。步骤2：初始化缓存C、最佳答案和最佳分数。步骤4到19：迭代T轮。第5轮：提议器生成候选答案a_t。第6到12轮：如果a_t不在缓存中，验证器对每个子问题验证a_t并计算分数，存储到缓存；否则重用缓存的判断和分数。第13到15轮：如果当前分数超过最佳分数，更新最佳答案和最佳分数。第16到18轮：如果最佳分数为1，提前返回a_t。步骤20：返回最佳答案。

这个算法伪代码对理解论文方法实现至关重要，它提供了FINEVERIFY的精确、可执行的规范。伪代码清晰展示了三个关键设计：分解、迭代提议验证缓存、提前停止。特别是，缓存机制和提前停止是论文提到的两个重要优化：前者避免重复验证相同候选，后者节省计算。伪代码的形式化描述使研究者能够准确理解和复现方法，这是论文技术贡献的重要组成部分。