← 返回 2026-06-29

Ko-WideSearch：韩语广度搜索基准——用于Web智能体的穷尽集合枚举 Ko-WideSearch: A Korean Breadth-Search Benchmark for Exhaustive Set Enumeration by Web Agents

Minbyul Jeong 📅 2026-06-25 👍 8 2026-07-13 08:37

Web智能体广度搜索自动化数据构建集合枚举韩语基准

首个韩语广度搜索基准，测试智能体穷尽枚举集合并填充属性表的能力

前置知识

广度搜索（Breadth Search）

广度搜索是指智能体需要穷尽枚举一个封闭集合的所有成员，并为每个成员填充多个属性值。与深度搜索不同，广度搜索不要求通过多跳推理找到单个隐藏答案，而是要求智能体维护一个完整的集合状态，跟踪哪些成员已被找到、哪些属性已填充，确保集合的边界清晰且每个单元格都正确。例如，列出韩国所有低成本航空公司及其母公司、成立年份、主枢纽和当前机队规模，就是典型的广度搜索任务。

本文的核心创新就是将广度搜索作为一个独立的评估维度来研究。理解广度搜索是理解本文任务定义、难度分级和评估指标（Item-F1、Column-F1、Row-F1）的前提。

集合值任务（Set-Valued Task）

集合值任务是指问题的答案不是单个值，而是一个完整的数据表。每个任务指定一个有限集合（如所有行星、所有韩国道级市），要求智能体枚举该集合的每个成员，并为每个成员填充多个属性列。这与传统的单答案QA问题（如 triviaQA）有本质区别：集合值任务要求智能体同时处理集合成员关系、每个成员的多个属性，以及可能需要从不同页面获取不同属性值的跨源信息整合。

本文采用了 WideSearch 提出的集合值任务范式，理解这个概念有助于理解为什么传统的深度基准测试（如 BrowseComp）无法评估这种能力，以及为什么 Item-F1 和 Row-F1 之间存在巨大差距。

2-D复合键（2-D Composite Key）

2-D复合键是指表格的成员身份由两个维度的交叉乘积确定，而不是单一的主键。例如，在每个赛季的每个球队、每次选举的每个候选人、每个省的每轮选举等场景中，成员本身就是网格状的。如果遗漏任何一个组合（如某个省在某轮选举中），就会破坏整个带状行的完整性。2-D复合键是本文用于控制任务难度的两个结构旋钮之一，另一个是表格宽度。

2-D复合键是本文 HARD 难度级别的核心特征（100%的 HARD 表格使用2-D键）。理解这个概念有助于理解为什么宽度和2-D键共同作用会导致性能急剧下降，以及为什么体育赛季任务在 HARD 层中占主导地位。

自动化合成-验证管道（Synthesize-and-Verify Pipeline）

这是一种自动构建评估基准的方法，不同于传统的人工标注。管道由三个独立的门组成：非可记忆性门（确保闭卷模型无法从记忆中复现金标准答案）、完整性门（独立代理重新枚举成员以确保金标准集合完整）、跨源属性验证门（重新查找每个属性值以确保其可靠）。只有通过所有门的任务才会被接受。此外，还有去重、多样性控制和污染筛查等步骤。

本文的核心技术贡献就是这个自动化管道。理解它有助于理解为什么本文能够以可扩展的方式构建韩语广度搜索基准，以及为什么能够确保金标准的可信度。

研究动机

现有的 Web 代理基准测试几乎只测量深度而非广度。以 BrowseComp 及其中文和韩语变体为例，这些基准在多个约束后隐藏一个简短的答案，要求智能体通过多跳或并行约束路径恢复它。这种范式只测试了智能体寻找隐藏信息的能力，而没有测试其穷尽枚举一个封闭集合并填充每个项目属性的能力。WideSearch 表明，即使是最前沿的代理在集合值任务上也会失败，不是信息隐藏，而是因为规模和穷尽性：它们会遗漏行、错误填充单元格、丢失集合边界。更严重的是，广度搜索评估在韩语等非英语环境中几乎不存在，但浏览能力是特定于语言和文化的——智能体必须导航韩语来源，其结构、术语和搜索约定与英语不同。

本文的目标是本文的目标是填补这一空白，构建一个韩语广度搜索基准测试。具体来说，作者希望创建一个能够评估智能体在韩语环境中穷尽枚举封闭集合并为每个成员填充多个属性值的能力的基准。该基准需要跨越多个类别和难度等级，确保金标准经过验证且可信赖，评估指标能够区分集合成员恢复和完整行完成两个不同的能力维度，并且整个构建过程是自动化和可扩展的。

与已有工作不同的是，本文的独特切入角度有两个。第一，从语言和文化的角度：广度搜索评估在韩语环境中几乎不存在，但浏览能力是特定于语言和文化的。韩语网页的结构、术语和搜索约定与英语不同，一个能够很好地浏览英语网页的智能体不一定能够很好地浏览韩语网页。第二，从评估方法论的角度：广度搜索提出了其自身的构建问题，即验证金标准集是完整的且每个属性单元格都是正确的，比检查单个答案要困难得多。本文通过自动化合成-验证管道解决了这个问题，这是对原有手工构建的 WideSearch 基准的重要扩展和改进。

核心方法

Ko-WideSearch 是一个韩语广度搜索基准，包含228个表格，跨越190个集合父实体和16个类别，分为三个难度等级。每个任务命名一个封闭、有限的集合（通过谓词 Y），并请求每个成员的 m−k 个属性。金标准答案是 n 行的集合，每行是 m 列上的（名称，属性）对；前 k 列是成员键（对于普通主键 k=1，对于如球队×赛季的2-D交叉乘积 k=2），其余是属性。模型通过在键列上匹配预测表和金标准来评分，使用 Item-F1、Column-F1、Row-F1 和表格成功率四个指标。

核心创新点在于自动化合成-验证管道和两个结构难度旋钮。管道使韩语广度搜索评估可扩展，同时保持金标准的可信度：构建代理通过穷尽搜索枚举每个金标准表，三个独立的门验证非可记忆性、完整性和跨源属性验证，两个难度旋钮制造 WideSearch 级别的硬广度——2-D成员资格从 EASY 的0%上升到 HARD 的100%，中位宽度从三列上升到七列。另一个关键是归一化感知比较器，它在金标准构建和评分之间共享，确保稳定的列不会被格式化错误误删或误评。

方法步骤详情

方法步骤分为五个主要步骤。第一步是任务定义和指标设计，每个任务指定一个封闭有限集和每个成员的属性列，使用 Item-F1（集合成员精确率/召回率）、Column-F1（匹配行上每个属性单元格的正确性）、Row-F1（键和每个属性单元格都正确的行比例）和表格成功率四个指标。第二步是构建阶段，构建代理接收集合父种子实体，通过穷尽搜索设计有界枚举问题并构建金标准表，时间敏感的属性被固定到明确的"截至"日期。第三步是验证阶段，接受需要通过三个独立的门：非可记忆性（闭卷模型无法从记忆中复现金标准单元格）、完整性（独立代理重新枚举成员并与金标准匹配）、跨源属性验证（重新查找每个属性值并放弃不同意的列）。第四步是难度分级，通过两个结构旋钮——表格宽度和2-D复合键——独立控制三个难度等级（EASY、MEDIUM、HARD）。第五步是质量控制，包括问题-金标准一致性重写、去重和多样性控制、污染筛查和母语者抽查。

技术新颖性

技术新颖性体现在四个方面。第一，将广度搜索作为一个独立的评估维度引入韩语环境，填补了非英语广度搜索基准的空白。第二，自动化合成-验证管道使广度搜索评估可扩展，同时保持金标准的可信度，这是对手工构建 WideSearch 的重要改进。第三，归一化感知比较器在金标准构建和评分之间共享，解决了朴素比较器过度删除稳定列的问题，并确保格式化错误不会导致误评。第四，Webgrounded sourcing 标签通过实际网页验证而非 LLM 猜测来确定表格是单页还是跨源，这是对 WideSearch 隐含 sourcing 标签的显式化和验证。

**Figure 1**: 基准测试及其运行示例。左图：任务跨越韩语类别（行）和三个难度等级（列）；每个单元格是一个实际任务，下面有其列的条带——成员键列有阴影，一个方框标记列表，两个标记交叉乘积网格。从左到右阅读，任务获得更多列要填充，并且其成员资格从列表变为网格。右图：Government/HARD单元格的完整展示——本文中作为运行示例使用的硬集示例：每个韩国都市省在第七次和第八次地方选举中当选的负责人。

**Figure 2**: Ko-WideSearch 沿两个结构轴扩展 WideSearch。（a）难度：我拨动的两个旋钮——表格宽度和2-D复合键份额——跨越平面。WideSearch 是一个单一的、未分层的参考（中位六列，35% 2-D），而 Ko-WideSearch 覆盖了一个校准的 EASY→MEDIUM→HARD 区域（阴影），其 HARD 层达到原始的宽度并超过其交叉乘积份额（100% vs 35%）。（b）Sourcing：一个正交的、Webgrounded属性——表格的内容是坐在一页上还是跨越几页——从 EASY 的77%跨源上升到每个 MEDIUM 和 HARD 任务。

实验结果

在20个模型的评估中，核心发现是智能体能够恢复集合成员但无法完成完整行。最强的模型 GPT-5.5 的 Item-F1 达到 92.8，但 Row-F1 只有 53.7，表格成功率只有 19.3（约五分之一的表完全正确）。图3显示了这个级联：一个能够恢复完整34行选举网格但错误填充单个投票率或获胜者年龄的智能体在 Item-F1 上得分高，在 Row-F1 上得分远低。这是 WideSearch 失败模式，现在在韩语来源上得到确认。难度梯度很陡峭，沿着两个结构轴：随着宽度和2-D复合键的添加，Row-F1 和表格成功率从 EASY 到 HARD 下降——GPT-5.4-mini 从 42.6 降到 18.8，DeepSeek-V4-Pro 从 50.7 降到 36.9。韩语专门化模型无法缩小与前沿模型的差距：A.X-4.0、Solar-Open-2-preview 和 K-EXAONE-236B 处于开放权重底层，远低于前沿（53.7）和最佳开放权重模型（45.0）。自由文本属性失败率最高（Column-F1 49），而格式约束的属性（日期、名称）最可靠（58、56），说明困难在于查找和归一化值，而不是格式化。

**Table 2**: Ko-WideSearch 上的主要结果（228个表），作为百分比：四个 WideSearch 指标和结构输出解析率，按系统系列，单次通过（pass@1）。每列最佳以粗体显示。

**Table 3**: 语义判断 vs. 严格 Row-F1（%）：LLM法官在软类型单元格（名称、位置、自由文本）上奖励同一指代表面变体（音译、管理粒度），而这些单元格被确定性评分器标记为错误。Row str. 是表2中的严格 Row-F1；∆是每个模型记录预测的判断校正；Row jdg. = str. + ∆。

**Figure 3**: 成员被恢复；完整行和整个表未被恢复。Item-F1（成员）、Column-F1（匹配单元格）、Row-F1（完整行）和表格成功率（整个表完全正确），作为百分比，在所有228个表上针对20个系统名单（按 Row-F1 排序；x轴标签按系列着色）。每个模型的条级联下降：集合（Item-F1，高达94）比完整行（Row-F1 16–54）恢复得更充分，即使最强的系统也直接解决了不到五分之一的表。瓶颈是穷尽逐单元格填充，而不是找到成员；值得注意的是，开放权重的 DeepSeek-V4-Pro（Row-F1 45.0）保持竞争力，在专有系统中排名中游。

**Figure 4**: 按难度的指标分解，按模型系列分面。四个 WideSearch 指标中的每一个（列：Item-F1、Column-F1、Row-F1 和表格成功率），作为百分比，跨越难度层（EASY/MEDIUM/HARD），每系列一行——专有（实线，顶部）、开放权重（虚线，中间）、韩语专门化（点线，底部）；y轴在每列之间共享，以便系列直接可比。分面保持所有20个模型可读，而不是将它们绘制在一个面板中。成员资格（Item-F1）在各层之间保持不变，但每个下游指标随着宽度和2-D复合键的添加而下降——Row-F1，特别是表格成功率，急剧下降 EASY→HARD——并且系列行从上到下分离。正交 sourcing 分解在图9（附录）中；因为27个仅列举表都是 EASY，它部分地重新表达了难度而不是一个独立轴。

**Figure 5**: 智能体在哪里以及为什么失败。（a）三种系统的仪器化子集上的每单元格类型 Column-F1（汇总）：开放式的自由文本单元格填充最不可靠，而格式约束的（日期、名称）最可靠，所以困难在于查找和归一化值，而不是格式化。（b）完整池上按金标准集大小的 Row-F1 基本上是平坦的——仅广度不驱动失败。（c）每个表的平均工具调用与 Row-F1：更多搜索不买完整性——搜索最多的两个系统（Qwen3.6-35B，Solar-Open-2-preview）得分最低，而 GPT-5.5 和 Claude-Opus-4.8 以适度搜索引领基准。标记形状：圆形（专有）、正方形（开放权重）、三角形（韩语专门化）；模型颜色如图4。

**Figure 6**: 按阶段的失败组成，对于十个具有每任务日志的及时路由系统。每个任务被分配到其第一个失败阶段——没有可解析的表、一个实质上错误的行集（成员资格，item-F1 < 0.9）、一个基本正确的集带有一个错误的属性单元格（单元格），或完全解决——所以四个份额在228个任务上求和。对于有能力的系统瓶颈是单元格填充（单元格56–66%）；最小的在成员资格（46–52%）更早失败一个阶段；解析失败除了 Claude-Haiku-4.5（24%）外很少见。

**Figure 7**: 美元和搜索调用都无法关闭差距。（a）Row-F1 与每任务成本对比，针对六个有计量成本的API服务模型。准确性随成本上升然后扁平化：开放权重的 DeepSeek-V4-Pro 以 GPT-5.5 和 Claude-Opus-4.8 成本的一小部分达到前沿的大部分 Row-F1。（b）在至少三十个工具调用的任务份额，跨越所有二十个系统；最常跨越该条的系统（Claude-Sonnet-4.6，Claude-Haiku-4.5）不是最高得分者，而顶级系统搜索少得多。每问题预算是三十次智能体迭代，每次可以批处理几个调用，所以总数更高——对 Qwen3.6 高达947。四个自托管模型（A.X-4.0，Solar-Open-2-preview，Qwen3.6-35B，K-EXAONE-236B）没有API费用，所以它们坐在最左边的"自托管"位置及其 Row-F1（它们的小水平扩展是抖动，不是成本）。

**Figure 11**: 在语义判断后存活的错误——残余单元格是实质性地错误的。语义判断已确认错误（NEQ）的单元格，在 LLM 法官已经奖励音译/管理粒度变体后。不同的实体（n=269），错误的区域/区（n=328），错误的值（n=164），类别不匹配（n=35）。Item-F1 ≫Row-F1 差距是事实错误，不是格式化。

查看结构化数据

任务	指标	本文	基线	提升
Ko-WideSearch 广度搜索	Row-F1	53.7 (GPT-5.5)	无（首次韩语广度基准）	N/A
集合成员枚举（Item-F1）	Item-F1	94.6 (Claude-Opus-4.7)	无	N/A
EASY难度表格	Row-F1	43.5 (20模型平均)	无	N/A
HARD难度表格	Row-F1	23.4 (20模型平均)	无	N/A
开放权重模型	Row-F1	45.0 (DeepSeek-V4-Pro)	45.0	0

局限与改进

作者承认的局限性包括类别偏斜：HARD、2-D层仍然是体育赛季重（约67%），因为紧凑的赛季表是最可靠可构建的交叉乘积，非体育2D覆盖（如选举）只是部分的。此外，每个表的来源固定在主要成员页面——每个表一个源URL而不是每个属性一个——尽管在构建时应用了跨源验证，并且在单一工具后端、搜索后端和预算下测量性能。最后，因为网络证据和排名随时间变化，易变表带有"截至"日期并需要定期重新验证，sourcing-tier标签反映标记时的页面结构。我自己的观察是，该基准在评估时使用实况网络，这意味着性能可能随网络内容的变化而变化，这是一个可复现性挑战。此外，该基准只测试了浏览能力的一个特定方面（广度搜索），而没有测试深度搜索、复杂推理等其他能力。

独立分析的弱点

独立分析的弱点包括：第一，HARD层的体育赛季偏斜可能限制了基准的多样性，使其在某些领域（如政治、文化）的评估不够全面。改进方向是增加更多非体育的2-D任务，如选举、学术会议、历史事件等。第二，每个表只有一个源URL而不是每个属性一个，这可能低估了某些任务的真实难度。改进方向是记录每个属性的实际来源URL，以便更精细地分析跨源难度。第三，实况网络评估带来了可复现性挑战，因为网络内容会随时间变化。改进方向是定期重新验证易变表，或者提供静态的网页快照作为评估数据。第四，该基准只评估了广度搜索能力，没有与深度搜索能力进行对比。改进方向是构建同时包含深度和广度任务的基准，以评估智能体的综合浏览能力。

未来方向

作者提出的未来工作方向包括：完成韩国模型名单（HyperCLOVA X 和 Kanana 待评估），以提供韩语专门化能力的完整图景。基于成果可延伸的未来研究方向包括：将自动化合成-验证管道扩展到其他语言和文化，构建多语言广度搜索基准；探索其他结构难度维度，如集合大小、属性类型异构性、网页结构复杂性等；研究如何改进智能体在广度搜索任务上的表现，如更好的集合跟踪机制、更有效的跨源信息整合、更强的属性填充能力等；将广度搜索与深度搜索结合，构建更全面的Web智能体基准；研究广度搜索在真实应用场景中的作用，如市场调研、情报收集、内容审核等。

复现评估

复现评估显示，该基准在MIT许可证下开源，包括基准数据、构建管道和评分器。作者采用了防泄漏的发布方式：因为智能体自己的搜索可以找到发布的金标准并提升答案，作者遵循 GAIA 和 BrowseComp 的保留先例，在MIT下开源管道和评分器，但通过请求分发评估数据，保持集合脱离表面智能体搜索。每个任务是一个JSON记录，携带id、难度层、类别、正交hardness层（EXHAUSTIVE ONLY/CROSS SOURCE sourcing标签）、易变表的截至日期、自然语言问题、有序列及每列列规范、键列、金标准答案集、任何排除、n行和n列、权威来源和评估合约。评分器直接解析模型的表并使用一个共享的、确定性的类型感知比较器对每个单元格进行评分，标题指标是可从发布的数据和代码精确复现的，没有评估时模型调用。算力需求取决于评估的模型和API调用次数，对于20个模型在228个任务上的评估，总成本在几百美元级别。复现难度中等，需要设置Web搜索工具后端并管理API密钥。