K-BROWSECOMP：基于韩语情境的网页浏览智能体基准测试 K-BrowseComp: A Web Browsing Agent Benchmark Grounded in Korean Contexts
首个韩语网页浏览智能体基准，包含400个多步推理问题，揭示模型在韩语环境下的显著性能下降
前置知识
Web Browsing Agent
网页浏览智能体是指能够自主使用网络搜索工具、浏览网页、提取信息并回答复杂查询的AI系统。这类智能体需要具备工具调用能力、多轮交互能力、跨页面信息整合能力。它们不同于传统问答系统，因为它们不是从预定义的知识库中检索答案，而是需要在开放网络环境中自主导航、判断信息相关性、维持候选状态并最终得出答案。典型的网页浏览智能体框架包括搜索API调用、页面解析、证据收集、约束满足和答案最终化等组件。
本文的核心评测对象就是网页浏览智能体，理解其工作原理对于理解论文的实验设置、失败模式分析和改进方向至关重要。
Multi-hop Reasoning
多步推理是指需要通过多个中间步骤才能最终得出答案的推理过程。例如，要回答某作家的第十部诗集中的第十三首诗是什么，需要先确定目标作家（第一步），找到其第十部诗集（第二步），然后查看该诗集的目录（第三步），最后定位到第十三首诗（第四步）。每一步的输出都是下一步的输入，形成一个推理链路。多步推理要求模型能够正确识别中间实体、维持推理状态、避免在某个步骤上偏离正确路径。
K-BROWSECOMP中的问题大多是多跳推理问题，论文分析了模型在多步推理过程中常见的失败模式，如中间实体丢失、跨源跳转失败等。
Parallel Constraint Satisfaction
并行约束满足是指问题需要同时满足多个独立条件，答案必须是这些条件的唯一交集。例如，要找出一个同时满足获得三首以上金唱片数字音乐奖项、歌词包含成员名字、有成员出演高中背景剧集、成员国籍在两个以上等条件的K-pop团体。正确的做法是建立一个候选集，对每个候选检查所有约束，最终找出唯一满足所有条件的答案。常见失败模式是过早锁定某个候选，导致后续约束没有被正确应用。
论文将问题分为多跳推理和并行约束满足两类，并详细分析了并行约束满足中的失败模式，如约束跟踪失败等，这是本文的重要发现之一。
Trajectory-level Failure Analysis
轨迹级失败分析是指不仅仅看最终答案是否正确，而是详细追踪智能体的整个搜索和推理过程，识别在哪个步骤上出现了错误。论文定义了九种失败模式，包括轨迹不完整、初始搜索方向无效、访问结构失败、跨源跳转失败、半结构化解析失败、搜索结果选择失败、稀疏实体归一化失败、约束跟踪失败、中间推理失败等。通过轨迹分析可以发现，很多错误发生在相关证据已经被检索到之后，问题出在状态维护、候选管理、约束整合等方面。
这是本文的核心方法论创新，通过轨迹级分析揭示了看似复杂的网页浏览任务实际上有可诊断的失败模式，为改进提供了明确方向。
研究动机
现有的网页浏览智能体基准测试主要集中在英语环境，如BrowseComp和BrowseComp-ZH分别针对英语和中文场景。然而，韩语作为一个重要的语言，其网页浏览智能体评测资源几乎完全空白。这导致两个严重问题：第一，对于韩语开发者和用户来说，语言使用习惯和人口规模使韩国在AI发展上处于结构性劣势，特别是对于需要韩语本土和文化知识的查询，这引发了关于AI主权的担忧；第二，韩语智能体基准的缺失也限制了更广泛的研究社区。当前的前沿模型在现有基准上的表现越来越饱和，基准之间的界限变得模糊。而基于语言和文化差异的智能体基准可以为更广泛的泛化能力提供重要的测试平台。此外，韩国的AI社区仍然主要依赖静态基准，如KorQuAD、KoBEST和KMMLU，这些基准评估的是静态的语言理解、事实知识和推理能力，而不要求智能体搜索网络、维护证据状态或跨页面综合信息。
本文的目标是本文的目标是构建K-BROWSECOMP，一个基于韩语情境的网页浏览智能体基准测试，评估模型是否能够在韩语网络环境中作为有用的网页智能体发挥作用。该基准旨在超越静态问答，测试智能体在实际网络环境中的能力，包括搜索策略、页面解析、跨源推理、状态维护等。具体而言，作者希望创建一个足够具有挑战性的基准，即使是前沿的大型语言模型也只能达到中等水平的性能，从而为韩语AI社区提供一个明确的发展目标。同时，通过轨迹级失败分析，为模型改进提供诊断性指导。
与已有工作不同的是，本文的独特切入角度在于选择网页浏览任务作为韩语智能体评测的载体，并基于信息不对称性设计了一个新颖的合成问题生成方法。与现有的韩语NLP基准相比，K-BROWSECOMP不仅要求韩语语言能力，还要求对韩语网络环境、本土机构、文化表达、搜索习惯等的理解。更关键的是，本文不是简单地收集问题，而是通过分析模型的实际失败模式，构建了一个系统的失败分类法，然后利用这个分类法生成针对性的诊断问题，形成了一个评测分析生成再评测的闭环。这种基于失败模式的合成数据生成方法是本文的核心技术创新。
核心方法
K-BROWSECOMP的整体构建思路分为两个主要部分：人工验证子集K-BROWSECOMP-VERIFIED和合成诊断子集SYNTHETIC。首先，通过17名韩语母语者手动构建300个网页浏览问题，这些问题要求多步推理或并行约束满足，并基于韩语特定情境。所有问题经过人工验证确保答案唯一、证据可访问、时间稳定。其次，通过对模型在VERIFIED子集上的失败进行手动分析，识别出九种失败模式，然后利用Claude Code作为提案者，基于这些失败模式和验证集的种子页面生成100个新的合成问题。生成过程采用反向构建策略，即从目标网页出发设计问题，使得解答该问题需要多跳或并行约束检索。每个生成的候选问题通过三轮过滤：可搜索性检查、良构性检查、对抗性难度检查。
核心创新点在于利用浏览任务的信息不对称性构建合成问题。网页浏览任务的一个关键特性是：解决问题可能很困难，但一旦知道正确的证据路径，验证候选答案相对容易。作者将这一观察扩展到问题构建端：虽然解决这类问题很难，但创建它们是否也很困难？实验表明，当简单地指示机器生成问题时，生成的任务要么容易被前沿模型解决，要么定义不明确。但是，当提供人工编写的困难问题作为少样本示例，或者指示智能体针对已识别的失败模式生成问题时，生成的任务质量和难度显著提高。这个方法的本质区别在于：它不是简单地生成更多问题，而是有针对性地生成能够暴露模型特定弱点的问题，形成一个诊断性的压力测试集。
方法步骤详情
K-BROWSECOMP的构建步骤如下。第一步，制定注释指南，要求问题满足三个规则：基于韩语情境且由公开网页证据支持、难以通过直接搜索回答但找到答案后易于验证、至少需要四个步骤或约束的多跳推理或并行约束满足。第二步，17名韩语母语者按照指南编写问题，每个问题以结构化JSON格式提交，包含问题描述、金答案、预期推理链、源URL、中间检查值和韩语特定关键词。第三步，作者对所有提交项目进行手动验证，检查金答案、中间实体和引用源是否可以从公开网页证据中恢复，不通过的项目返回给原作者修订。第四步，轨迹级失败分类，通过手动检查模型在VERIFIED子集上的错误，识别出九种失败模式。第五步，合成问题生成，利用Claude Code打开验证集的种子网页，以反向构建方式起草韩语问题，隐藏答案和释义，源URL和域名，以及页面最标识性的实体名称，并针对指定的失败模式。第六步，三轮过滤，包括可搜索性检查、确保答案不会直接出现在搜索结果中、良构性检查、确保参考求解器可以从完整源页面中恢复答案、对抗性难度检查、确保两个目标模型都无法解决且失败可归因于特定失败模式。经过这六步，最终生成包含400个问题的K-BROWSECOMP基准。
技术新颖性
K-BROWSECOMP的技术新颖性体现在多个方面。首先，这是第一个专门针对韩语情境的网页浏览智能体基准，填补了韩语智能体评测的空白。其次，提出了系统的轨迹级失败分类法，定义了九种具体的失败模式，为诊断模型弱点提供了精细的框架。第三，创新性地利用信息不对称性进行合成问题生成，通过反向构建和失败模式靶向生成，产生了高质量的诊断性数据集。实验显示，生成的合成问题与人工验证问题在嵌入空间上有明显分离，但保持相同的推理格式，可作为互补的压力测试。第四，通过详细的轨迹分析，揭示了看似复杂的浏览任务实际上有可诊断的失败模式，很多错误发生在相关证据已经被检索之后，问题出在状态维护、候选管理、约束整合等方面。这一发现对理解智能体的能力瓶颈和设计改进策略具有重要意义。
实验结果
实验结果显示，即使在强前沿模型上，K-BROWSECOMP-VERIFIED仍然非常具有挑战性。GPT-5.5取得了最高的45.67%准确率，GPT-5.4-mini和GLM-5.1均达到30.67%，DeepSeek-V4-Pro为30.00%。这些结果相比这些模型在原版BrowseComp上的报告性能（GPT-5.5为84.4%，DeepSeek-V4-Pro为83.4%）有大幅下降，表明韩语情境显著增加了任务难度。更令人担忧的是，通过韩国政府专有人工智能基础模型项目第一轮发布的韩语开放权重模型表现更差：K-EXAONE-236B-A23B为10.33%，A.X-4.0为5.33%，HyperCLOVAX-SEED-Think-32B为2.33%，Kanana-2-30B-A3B-Thinking-2601为0.00%。这些结果揭示了韩语智能体与全球前沿模型之间存在显著差距。在100个合成诊断问题SYNTHETIC上，所有模型的准确率进一步下降，最强模型仅达到26.00%，没有模型超过30.00%。这表明失败模式靶向生成配合验证和过滤能够产生有用的诊断项目。轨迹分析显示，很多错误发生在相关韩语网络证据已经被检索之后，模型往往无法维护候选、约束、源指针或最终答案状态。具体来说，失败主要分为三类：候选捕获、过早锁定一个候选导致后续约束未被验证、未合并的证据分支、搜索多个相关约束但从未转换为共享候选集的过滤器、错误绑定的证据链、在跨实体类型的步骤中绑定中间结果到错误的角色。这些发现表明，韩语浏览的进展需要更强的轨迹级状态维护机制，而不仅仅是更广泛的语言覆盖或更大的模型规模。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| K-BROWSECOMP-VERIFIED | Pass@1 Accuracy | GPT-5.5: 45.67% | BrowseComp (GPT-5.5): 84.4% | 下降38.73个百分点 |
| K-BROWSECOMP-VERIFIED | Pass@1 Accuracy | DeepSeek-V4-Pro: 30.00% | BrowseComp (DeepSeek-V4-Pro): 83.4% | 下降53.4个百分点 |
| K-BROWSECOMP-VERIFIED | Pass@1 Accuracy | K-EXAONE-236B-A23B: 10.33% | GPT-5.5: 45.67% | 相差35.34个百分点 |
| K-BROWSECOMP-SYNTHETIC | Pass@1 Accuracy | GPT-5.5: 26.00% | K-BROWSECOMP-VERIFIED (GPT-5.5): 45.67% | 下降19.67个百分点 |
| K-BROWSECOMP-SYNTHETIC | Pass@1 Accuracy | DeepSeek-V4-Pro: 22.00% | K-BROWSECOMP-VERIFIED (DeepSeek-V4-Pro): 30.00% | 下降8.00个百分点 |
局限与改进
作者在论文中承认了几个局限性。首先，验证集规模仍然较小且领域分布不均匀，包含300个人工编写的项目，其中相当一部分集中在娱乐或媒体和地区相关查询上，因此可能不能完全代表韩语网络搜索用例的广度。其次，模型性能在单一浏览框架、搜索后端、搜索调用预算和pass@1设置下测量，这可能混淆模型能力与检索覆盖、工具接口可靠性、评估协议选择等因素。第三，虽然SYNTHETIC分割作为诊断压力测试有用，但它在表面形式和领域组成上与验证集不同。最后，由于网络证据和搜索排名会随时间变化，需要持续重新验证以保持答案唯一性、可访问性和可复现性。此外，从我的观察来看，论文只使用了Perplexity Search作为唯一的搜索后端，没有测试其他搜索引擎的性能差异，这可能引入搜索引擎特定的偏差。同时，所有实验都使用10次搜索调用的固定预算，没有分析不同预算下的性能变化，这限制了在实际应用场景中的泛化能力。
独立分析的弱点
从独立分析的角度来看，论文存在几个可以改进的弱点。首先，合成问题生成依赖于Claude Code，但论文没有详细说明为什么选择这个模型，也没有比较不同生成模型的生成质量和效率。这引发了一个问题：生成器的选择如何影响合成问题集的特性和难度？其次，论文只评估了单一搜索后端（Perplexity Search），没有考虑不同搜索引擎在韩语环境下的性能差异。韩语搜索可能有其特定的排序和呈现特点，使用多个搜索后端可以更全面地评估模型能力。第三，10次搜索调用的固定预算可能不适合所有问题，一些复杂问题可能需要更多搜索机会，而简单问题可能用不完预算。论文没有分析预算敏感性，这是一个可以改进的方向。第四，论文没有提供不同模型在不同失败模式上的详细分解，只有总体准确率和校准误差。如果能够给出每个模型在每种失败模式上的失败率，可以更有针对性地指导改进。第五，论文没有讨论模型在不同时间段的性能稳定性，由于网页内容会变化，这个问题对于实际部署很重要。针对这些弱点，改进方向包括：比较多个生成模型的合成问题质量，评估多个搜索后端，分析搜索预算敏感性，提供失败模式的详细分解，进行时间稳定性测试。
未来方向
作者提出的未来工作方向包括扩展验证集的规模和领域覆盖，探索不同的浏览框架、搜索后端、预算设置和评估协议，以及持续重新验证以确保答案唯一性和可访问性。基于本文的成果，可以延伸出多个未来研究方向。首先，可以利用识别出的失败模式设计针对性的训练数据或微调策略，特别是针对状态维护、候选管理、约束整合等弱点。其次，可以探索多模态网页浏览，将图像、视频等多媒体内容纳入考虑，这对于韩语娱乐和媒体领域特别相关。第三，可以研究跨语言网页浏览能力，测试模型在需要同时使用韩语和英语资源的任务中的表现。第四，可以开发更好的轨迹可视化和分析工具，帮助研究者理解模型的决策过程。第五，可以探索自适应搜索策略，根据问题难度动态调整搜索预算。第六，可以研究个性化浏览智能体，考虑用户的偏好和历史行为。最后，可以构建更多语言的网页浏览基准，形成多语言智能体评测体系，促进智能体能力在不同语言和文化情境下的全面发展。
复现评估
论文在复现性方面做得较好。作者公开承诺将发布K-BROWSECOMP，包括验证和合成问题、源URL、预期轨迹、检查值和评估代码，使用MIT许可证。所有实验使用统一的检索协议（search_evals框架、Perplexity Search API、10次搜索调用预算），报告单次运行结果（对应pass@1设置）。对于开放权重模型，论文提供了参数计数信息。计算预算方面，所有实验在开放路由API调用上运行，总API成本约为320美元。韩语模型因为平台不支持而使用其他基础设施。论文还提供了详细的模型列表、超参数设置和评估协议。然而，有几个方面可以改进复现性。首先，论文没有提供源网页的完整内容，只提供了URL，这意味着随着网页内容的变化，复现结果可能会变化。其次，论文没有提供训练数据的详细信息，特别是用于韩语后训练的数据集。第三，由于商业模型的API调用可能受限于速率限制或服务可用性，完全复现可能需要等待或调整。第四，合成问题生成过程中使用的Claude Code版本和提示词没有详细披露，这使得完全复现合成数据集变得困难。总体而言，复现难度中等，主要挑战在于网页内容的动态性和商业API的限制。
论文图表