BrowseComp-V³：面向多模态浏览智能体的视觉、垂直、可验证基准测试 BrowseComp-V^3: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents

BrowseComp-V3的数据构建流程包含5个严格定义的阶段。Stage 1（初始化与指导原则制定）：领域专家定义核心评估维度（领域多样性、任务层次、跳数分布），构建包含Visual Inputs、Queries、Sub-goals、Answer和Metadata的初始示例，连同Instruction Documents一起建立后续大规模标注的金标准。Stage 2（工具增强探索式标注）：标注员根据领域专长分配子任务，使用TextSearch、WebVisit、ImageSearch、ImageCrop和ReverseImageSearch等专业工具进行探索式网络搜索，记录完整的交互轨迹，将复杂任务分割为关键子目标，并标注获取每条关键证据所需的能力。Stage 3（双验证与对抗过滤）：原始数据集经过两个连续筛选阶段——人工验证循环中，验证者复制标注的搜索轨迹并评估逻辑连贯性、证据支持和答案准确性，未通过验证的样本返回修订；然后通过SOTA多模态大模型过滤掉简单示例，确保保留涉及长尾知识或复杂推理需求的挑战性样本。Stage 4（结构化数据格式化）：将验证通过的样本后处理并转换为统一JSON格式，包含标准化的输入/输出字段、子目标和交互轨迹。Stage 5（专家质量控制）：在正式发布前，领域专家审核结构化数据的安全性、隐私合规性和事实准确性，只有通过审核的样本才纳入最终数据集。

BrowseComp-V3的技术新颖性体现在多个层面。首先，在数据构建方法论上，本文采用了闭环质量保证框架，将探索式标注、双验证、对抗过滤、结构化格式化和专家审计五个阶段有机串联，形成严格的质量控制链条。特别是Stage 3的双验证机制——先由人工验证轨迹可复现性，再由SOTA模型过滤掉简单样本——是一种创新的双保险策略，既保证了人类可解性又确保了足够的难度。其次，在评估指标设计上，Process Score的引入填补了多模态深度搜索领域缺乏过程级评估的空白。该指标通过计算模型完成的子目标比例 $\frac{|\hat{G}_q|}{|G_q|}$ 来量化搜索过程质量，能够揭示模型在最终答案错误但部分推理正确的情况下的实际能力。实验数据表明Process Score通常显著高于Success Rate（如GPT-5.2-Thinking的PS为66.05%而SR仅为39.13%），验证了该指标的信息增益。第三，在跨模态复杂度分类上，本文将交互分为三个层次（区域内对齐、区域间整合、图像间推理），这种层次化分类为细粒度的能力诊断提供了理论框架。

基于对论文的深入分析，可以识别出几个值得关注的弱点和改进方向。第一，数据集规模与多样性：300道题目虽然质量精良，但规模相对有限，特别是对于24个子领域来说分布不够密集。改进方向是通过半自动化的方式扩展数据集规模，例如利用LLM辅助生成候选题目，再由专家验证和筛选。第二，评估框架的工具选择：OmniSeeker目前集成了5种固定工具，但不同任务可能需要不同的工具组合。可以探索自适应工具选择机制，根据问题特征动态调整工具配置。第三，过程评估的子目标粒度：当前的Process Score将子目标视为二元完成状态（完成/未完成），未能捕捉子目标之间的依赖关系和部分完成状态。可以引入加权子目标图来更精细地建模推理过程。第四，测试时计算缩放的效率：虽然Best-of-N策略有效，但计算成本随N线性增长。可以探索更高效的测试时缩放方法，如自适应采样或基于不确定性的提前终止。第五，跨模态推理的层次化评估：虽然本文提出了三个交互层次，但实验结果（Table 3）显示模型在L2和L3之间的性能差异不一致，说明当前的层次划分可能需要进一步细化或调整。

基于BrowseComp-V3的成果，可以展望几个有前景的研究方向。首先，强化学习驱动的浏览智能体训练：本文的过程评估机制为强化学习提供了天然的奖励信号，子目标完成情况可以作为中间奖励，引导智能体学习更有效的搜索策略。其次，多智能体协作的深度搜索：当前的评估框架假设单一智能体独立完成任务，但在现实中，多智能体协作（如分工搜索、信息共享）可能更高效。第三，动态基准测试与持续学习：随着网络内容的不断变化，静态基准测试可能逐渐过时。可以探索动态更新机制，定期引入新题目并淘汰已过时的题目。第四，跨语言深度搜索：当前基准主要关注英文内容，但真实世界的搜索场景往往涉及多语言信息。可以扩展基准以涵盖跨语言的多模态深度搜索任务。第五，端到端的浏览智能体训练：OmniSeeker目前是一个模块化框架，各工具独立运行。未来可以探索端到端训练方法，使智能体能够学习工具间的协同策略。最后，基于本文的Process Score指标，可以开发更细粒度的能力诊断工具，帮助研究者精确定位模型在多模态推理中的具体弱点。

从复现性角度来看，BrowseComp-V3提供了相对良好的研究基础。数据集方面，本文提供了300道题目的完整标注，包括问题文本、视觉输入（383张图像）、子目标、答案和元数据，以及人工标注的金标准搜索轨迹，这些都为复现实验提供了坚实基础。评估框架方面，OmniSeeker作为统一的多模态浏览智能体框架，其模块化设计和标准化工具接口使得其他研究者可以较容易地集成自己的模型。然而，复现的挑战主要来自几个方面：第一，计算资源需求，实验评估了9个不同的MLLM，其中包含GPT-5.2、Gemini-3等闭源模型的API调用，这需要相当的API费用；第二，搜索API的依赖，OmniSeeker使用Serper作为搜索API，不同时间的搜索结果可能有所不同，这可能影响结果的完全复现；第三，网页内容的时效性，虽然本文强调了时间稳定性（Temporal Stability）原则，但网络内容仍在不断变化，某些链接可能失效。总体而言，本文的复现难度属于中等水平，核心瓶颈在于API成本和网络环境的不确定性。