超越单语深度研究：使用跨语言 BrowseComp-Plus 评估智能体和检索器 Beyond Monolingual Deep Research: Evaluating Agents and Retrievers with Cross-Lingual BrowseComp-Plus
首个跨语言深度研究基准XBCP揭示语言失配导致性能大幅下降
前置知识
深度研究智能体
深度研究智能体是一类能够自主进行长期信息搜寻的AI系统。给定复杂信息需求，智能体需要规划搜索策略、检查检索到的来源、判断证据是否充分，并基于证据合成有依据的答案。这与传统的单轮问答不同，智能体需要在多次迭代中自主决定何时继续搜索、何时停止并给出答案，类似于人类研究人员进行文献调研和证据收集的过程。
本文的核心是评估深度研究智能体在跨语言场景下的表现，理解智能体的工作原理对于解读实验结果至关重要。
跨语言信息检索（CLIR）
跨语言信息检索是指用一种语言的查询去检索另一种语言的文档的技术。传统方法使用翻译将查询或文档转换为统一语言再检索，现代方法则使用多语言嵌入模型将不同语言的文本映射到同一语义空间，直接计算相似度。关键挑战包括语言间的对齐程度、资源不平衡、领域迁移以及评估设计等因素。
本文揭示了多语言检索器在智能体搜索循环中的表现与独立排序评估有很大不同，理解CLIR背景对于解读实验发现非常关键。
证据召回（Evidence Recall）
证据召回是衡量检索器性能的指标，计算智能体在搜索过程中返回的所有文档中，有多少是人类标注的支持文档。这不同于传统的排序指标（如nDCG、MAP），因为它关注的是在智能体实际搜索轨迹中是否找到了正确证据，而不是文档在排序中的位置。证据召回高意味着检索器能够在搜索循环中及时将相关证据呈现给智能体。
本文使用证据召回作为关键指标来识别检索瓶颈，这个概念对于理解跨语言深度研究中检索与智能体行为的交互至关重要。
研究动机
现有的浏览基准（如BrowseComp、BrowseComp-Plus）大多假设用户的查询和支持证据使用同一种语言，这使得这些基准无法评估当相关信息以另一种语言出现时，智能体搜索系统是否仍能正常工作。实际场景中，全球化的信息需求常常需要跨语言检索——用户可能用英语提问，但最有价值的证据可能出现在中文、日语或其他语言的文档中。现有的跨语言检索评估（如MMTEB、MIRACL、MLDR）将检索视为独立的排序问题，只测量文档级相关性，无法捕捉当检索成为智能体搜索过程一部分时会发生什么。
本文的目标是本文的目标是构建一个受控基准XBCP（Cross-lingual BrowseComp-Plus），将BrowseComp-Plus的单语评估范式扩展到多语言检索场景。通过保持任务结构不变（问题用英语提出，答案用英语评估，证据基于固定语料库），但改变支持文档的语言，评估多语言检索器能否在智能体搜索过程中找到正确证据，以及LLM智能体能否将语言失配的证据整合到可靠的英语答案中。XBCP实例化两种互补设置：跨语言设置（每个查询的支持文档出现在同一种分配的语言中）和多语言设置（证据语料库随机均等分布在12种语言中）。
与已有工作不同的是，本文的独特切入角度是将两个长期分离的评估传统连接起来。多语言和跨语言检索基准（MMTEB、MIRACL、MLDR）孤立地评估系统是否能在固定集合中跨语言排序相关文档；深度研究基准（BrowseComp、BrowseComp-Plus）评估迭代证据寻求和基于证据的答案合成，但通常假设问题和证据在语言上对齐。XBCP通过问跨语言检索一旦成为智能体搜索过程的一部分后是否仍然有效，将这两个观点连接起来。这种设计揭示了标准多语言检索能力并不直接转化为对复杂智能体搜索的鲁棒性。
核心方法
XBCP通过翻译BrowseComp-Plus的证据侧面来构建：问题保持英语，最终答案用英语评估，只有证据文档的语言发生变化。使用GPT-5.4作为翻译模型，采用单一语言条件提示，要求完整翻译到目标语言，包括标题、术语、专有名词和元数据字段名称，同时保留URL、电子邮件地址、公式和代码块。翻译后的语言被设计为跨越不同的资源条件，包括8个相对高资源语言（中文、英语、法语、德语、日语、韩语、葡萄牙语、西班牙语）和4个低资源语言（斯瓦希里语、沃洛夫语、约鲁巴语、祖鲁语）。翻译后的语料库支持两种评估配置，允许XBCP评估多语言检索器能否在智能体搜索过程中浮现语言失配的证据，以及LLM智能体能否将此类证据整合到忠实的英语答案中。
核心创新点是将语言失配作为一个独立的变量引入深度研究评估，同时保持任务语义和评估标准不变。与现有的多语言智能体基准（如BrowseComp-ZH）不同，后者的问题、证据和答案都在同一语言内，XBCP真正测试跨语言情况——一种语言表达的信息需求必须使用另一种语言书写的证据来回答。这使得XBCP成为首个将跨语言深度研究形式化的基准。通过翻译构建的受控设置，XBCP能够分离检索失败和智能体侧证据整合失败，揭示跨语言深度研究暴露了检索失败和独立的、智能体侧的整合语言失配证据的困难。
方法步骤详情
构建XBCP的第一步是数据准备：使用GPT-5.4翻译BrowseComp-Plus的5,040个证据文档到11种非英语语言，保留英语文档不变。翻译质量通过独立专家验证研究评估，每个语言抽样200个翻译文档，按照准确性、流利性和完整性三个维度在1-5分量表上评分。第二步是语言分配：在跨语言设置中，每个查询分配到一种证据语言，因此该查询的所有支持文档都出现在同一语言中；在多语言设置中，5,040个证据文档实例随机但均等地分配到12种语言，使每种语言有420个证据文档。第三步是索引重建：为三种语料库条件（原始、多语言、跨语言）重建BM25和多语言嵌入检索器的索引。第四步是智能体实验：对四个深度研究智能体（GPT-OSS-20B、GPT-OSS-120B、QWEN3.6-35B-A3B、DEEPSEEK-V4-PRO）在五种检索器（BM25、QWEN3-EMBEDDING-4B、QWEN3-EMBEDDING-8B、MULTILINGUAL-E5-LARGE、ARCTIC-EMBED-L-2.0）上进行评估。第五步是评估：使用端到端准确率、证据召回、搜索效率、校准误差、引证保真度、oracle检索等指标评估。
技术新颖性
XBCP的技术新颖性在于它将翻译作为构建受控跨语言评估的工具，而不是简单地使用现有的多语言数据集。通过翻译英文证据，XBCP保持了原始BrowseComp-Plus的任务语义、难度和人类验证的证据质量，只改变语言形式。这使得检索失败和智能体侧合成失败可以在语言间进行比较。此外，XBCP引入了oracle检索设置，绕过搜索和排序直接提供所有支持证据，将推理错误与检索错误分离。XBCP还补充了三种分析：按语言分解、基于推理的查询扩展实验和推理努力控制研究。这种多层次的设计使得XBCP能够全面诊断跨语言深度研究中的检索瓶颈和智能体侧证据整合瓶颈。
实验结果
实验结果显示，当证据被翻译后，所有检索器和智能体的准确率和证据召回都大幅下降。最强的整体性能由DEEPSEEK-V4-PRO配合QWEN3-EMBEDDING-8B获得，在原始语料库上达到64.70%准确率，在多语言设置中下降到48.80%，在跨语言设置中进一步下降到42.29%。使用QWEN3-EMBEDDING-8B时，从原始语料库到翻译设置，准确率下降约16-23个百分点。这种下降不仅出现在BM25上，也出现在密集多语言检索器上。高资源语言平均工具准确率18.39%和证据召回28.48%，而低资源语言平均仅10.87%和18.00%。然而，它们的oracle准确率仍然相对接近（高资源89.67%，低资源87.32%），表明低资源惩罚主要由检索失败驱动。即使提供所有黄金证据，翻译证据的oracle准确率仍低于原始语料库oracle准确率，揭示了智能体侧瓶颈：模型必须在非英语来源中识别相关事实，将其与英语问题对齐，并在不失证据约束的情况下合成英语答案。推理基础的查询扩展在所有三种语料库条件下都改善性能，但在翻译证据下增益较小。更高的推理努力在所有语料库条件下都改善准确率和证据召回，但高努力跨语言和多语言运行仅达到低努力原始运行的准确率，尽管使用了超过14倍的搜索调用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 跨语言深度研究（多语言语料库） | 准确率 | 48.80% | 64.70%（原始语料库） | -15.90个百分点 |
| 跨语言深度研究（跨语言语料库） | 准确率 | 42.29% | 64.70%（原始语料库） | -22.41个百分点 |
| 证据召回（多语言语料库） | 召回率 | 59.78% | 72.77%（原始语料库） | -12.99个百分点 |
| 高资源语言准确率 | 准确率 | 18.39% | 42.86%（英语参考） | -24.47个百分点 |
| 低资源语言准确率 | 准确率 | 10.87% | 42.86%（英语参考） | -31.99个百分点 |
局限与改进
作者承认的主要局限性是每个智能体-检索器-语料库配置只报告了单次评估运行。在完整搜索轨迹上运行具有多个检索器的智能体跨越三种语料库条件计算成本昂贵，没有用多个随机种子重复每个配置。虽然语料库条件和检索器之间的差距很大且在智能体间一致，但正式的方差估计和显著性检验留给未来工作。此外，作者使用每个智能体的一组推理超参数，遵循每个模型的推荐生成配置，没有调优采样温度或top-p。这在条件间保持比较受控，但特定条件的调优，特别是对于低资源语言，可能会部分减少观察到的差距。我自己的观察是，XBCP的翻译方法虽然保证了语义一致性，但可能无法完全反映真实跨语言场景中的文化细微差异和领域特异性。另外，使用GPT-5.4作为翻译模型和评估者可能引入模型特定的偏差，未来可以探索使用不同翻译模型或人工翻译的验证。
独立分析的弱点
论文的一个独立分析弱点是缺乏对检索器行为的深入分析。虽然论文报告了证据召回，但没有分析检索器在不同语言上的具体失败模式——例如，是术语对齐问题、句法差异还是文化背景导致了检索失败。另一个弱点是oracle设置仍然存在跨语言惩罚，这表明智能体侧的整合困难，但论文没有深入分析这种困难的具体来源：是推理过程中的语言干扰、还是对非英语实体和概念的处理困难？第三个弱点是缺乏对查询扩展在跨语言设置中效果有限的原因分析——推理追踪在翻译证据下的增益较小可能是因为检索器的跨语言对齐不足，但论文没有提供量化证据。改进方向包括：分析检索失败案例的类型分布；在oracle设置中添加中间步骤分析（如智能体是否能正确识别翻译文档中的相关实体）；对比不同查询扩展策略（如多语言查询扩展、实体翻译）的效果。
未来方向
作者提出的未来方向包括正式的方差估计和显著性检验，以及对推理配置的系统性研究。基于本文成果可延伸的研究方向包括：1）开发语言感知的智能体搜索，使智能体能够识别可用证据的语言，跨语言和实体变体制定查询，决定何时需要翻译或语言特定搜索；2）训练检索器联合嵌入推理追踪和发出的查询（如AGENTIR），但专门针对跨语言场景；3）研究跨语言RAG中的验证和去偏见机制，因为语言失配可能引入额外的噪声和偏差；4）扩展到更多语言对，包括低资源语言之间的跨语言场景；5）探索主动翻译策略，即智能体在搜索过程中动态决定是否翻译查询或文档；6）研究跨语言证据整合的可解释性，帮助理解智能体如何在语言失配情况下维持证据约束。
复现评估
论文声明代码和数据集在其GitHub仓库和Hugging Face集合中公开可用。数据构建部分详细描述了翻译提示（附录B）、翻译评估标准（附录C）、验证结果（附录D）和新的评估提示（附录E），这有助于复现翻译质量和评估流程。然而，复现完整的实验需要访问四个智能体模型（GPT-OSS-20B、GPT-OSS-120B、QWEN3.6-35B-A3B、DEEPSEEK-V4-PRO）和五个检索器，这些模型可能需要昂贵的API调用或大量计算资源。特别是运行智能体在完整搜索轨迹上的评估计算成本很高。虽然论文提供了详细的实验设置，但没有报告具体的计算成本或运行时间，这给预算有限的研究者带来挑战。总体而言，代码和数据的公开使得复现成为可能，但需要相当大的计算预算。
论文图表
