WideSeek：通过多智能体扩展推进广域研究

提出广域研究范式，用动态多智能体架构和端到端RL解决大规模并行信息检索任务

前置知识

Deep Research vs Wide Research

Deep Research（深度研究）是指通过复杂的多步推理和动作序列来定位单一难找信息的范式，典型场景是搜索一个特定答案。Wide Research（广域研究）则是以并行编排替代顺序推理，系统性地检索和综合大量满足复杂约束的结构化信息，典型场景是生成竞品分析表——需要从数千个来源中综合信息。两者的本质区别在于：Deep Research追求深度但狭窄的推理链，Wide Research追求高广度的并行检索框架。

本文的核心论点就是从Deep Research到Wide Research的范式转变，理解这两个概念的区别是理解整篇论文的前提。

多智能体强化学习（Multi-Agent RL）

多智能体强化学习是指在同一个环境中，多个智能体通过与环境交互来学习最优策略的框架。在LLM语境下，多个语言模型实例作为不同智能体协作完成任务。与单智能体RL不同，多智能体系统需要处理智能体间的协调、通信和任务分配问题。本文使用GRPO（Group Relative Policy Optimization）算法，通过组内相对优势来优化策略。

本文的核心技术贡献就是将多智能体轨迹线性化后用统一的GRPO进行端到端优化，这是理解方法的关键。

知识图谱（Knowledge Graph）与SPARQL

知识图谱是以三元组（主语-谓语-宾语）形式存储世界知识的结构化数据库，如Wikidata包含数十亿条事实。SPARQL是查询知识图谱的标准查询语言，支持复杂过滤条件如交集（AND）、并集（OR）、差集（NOT）等集合操作。本文利用Wikidata知识图谱作为数据源，通过SPARQL查询来构造复杂的约束条件并提取目标实体集合。

论文的数据流水线完全基于知识图谱和SPARQL构建，所有benchmark任务都源自Wikidata的结构化查询，理解这一概念才能理解数据是如何生成的。

GRPO（Group Relative Policy Optimization）

GRPO是一种策略优化算法，其核心思想是对每个查询采样一组G个轨迹，然后通过组内相对优势（即每个轨迹的奖励相对于组均值和标准差的归一化值）来更新策略。与PPO不同，GRPO不需要额外的价值网络（critic），而是直接用组内统计量估计优势函数，公式为 $\hat{A}^g = (R(T^g) - \mu_R) / \sigma_R$。这使得训练更加稳定和高效。

本文将GRPO扩展到多智能体场景，设计了统一轨迹建模方式，是技术方案的核心组件。

层次化MDP（Hierarchical MDP）

层次化马尔可夫决策过程是一种将决策分为多个层次的框架。在本文中，顶层是主智能体（Main Agent/Planner），负责任务规划和分解；底层是子智能体（Sub-Agent/Executor），负责具体的搜索和执行。主智能体在任意步骤可以动态分叉出多个子智能体并行工作，子智能体完成后将结果返回主智能体更新全局状态。

WideSeek的架构核心就是层次化MDP，主智能体的规划动作空间包含创建子智能体和终止两种动作，这是理解系统运行机制的关键。

研究动机

当前搜索智能领域的研究主要聚焦于Deep Research范式，即通过复杂的多步推理来定位单一难找信息。然而，在实际的生产力场景中——如竞品分析表生成、企业数据情报、仓库级代码生成——用户需要的不是找到一个答案，而是在复杂约束下系统性地检索和综合大量结构化信息。现有的基准测试（如BrowseComp、GAIA）规模有限（通常只有几百到一千多条任务），主要由人工构建，缺乏训练集，且专注于深度而非广度的评估。更重要的是，现有的数据合成方法专注于采样复杂图拓扑来模拟多步推理路径，虽然有效优化了搜索深度，但缺乏在复杂约束下高效合成大规模原子信息的能力。在优化层面，先前的方法要么依赖闭源模型配合静态多智能体框架，要么专注于增强单智能体推理深度，缺乏对能够自主拓宽搜索路径的系统进行端到端优化的探索。

本文的目标是本文的具体目标是：（1）构建一个专门评估广域研究能力的基准测试WideSeekBench，包含5,156个任务，覆盖18个领域、7种约束类型，并提供训练集和测试集；（2）设计一个动态层次化多智能体架构WideSeek，能够根据任务需求自主分叉任意数量的子智能体；（3）通过端到端的强化学习框架统一优化整个多智能体系统，使模型学会在复杂场景下进行大规模搜索。

与已有工作不同的是，本文的独特切入角度在于：它不是试图让单个智能体推理得更深，而是让多个智能体并行搜索得更广。与WebShaper等基于形式化的方法专注于增强推理结构来处理复杂的多步深度不同，本文利用知识图谱提取互相关联的世界知识集群，使用集合算子（交、并、差）定义目标实体集，从而精确调节任务的广度和约束复杂度。在优化方面，与MAGRPO优化多个不同LLM或OWL解耦规划与执行不同，本文将所有智能体（主智能体和子智能体）共享同一个LLM checkpoint，将层次化执行轨迹线性化为单一序列，然后用统一的GRPO进行端到端优化——这使得整个系统能够共同演化。

核心方法

WideSeek的方法可以类比为一个项目经理带领团队做市场调研：项目经理（主智能体）理解客户需求后，将调研任务拆分成多个子任务，分配给不同的研究员（子智能体）并行执行，每个研究员独立搜索信息后汇报结果，项目经理汇总所有结果并决定是否需要进一步调研。在技术实现上，系统遵循Planner-Executor模式：主智能体负责规划、任务分解和自我反思，子智能体负责推理和执行工具调用。与预定义角色和数量的静态多智能体框架不同，WideSeek赋予主智能体完全的自主权——它可以在任意步骤根据任务需求动态实例化任意数量的子智能体。整个推理过程被建模为层次化MDP，主智能体在顶层时间步上运行，其动作空间包含规划动作（创建子智能体）和终止动作（综合所有结果输出最终答案）。

本文最核心的创新是将多智能体执行轨迹统一建模并进行端到端优化。具体来说，由于所有智能体共享同一个LLM checkpoint $\pi_{\theta}$，作者将层次化的执行轨迹线性化为单一序列：在主智能体的每个规划步骤和对应的子智能体执行轨迹之间进行交错拼接，形成统一轨迹 $T$。然后，基于这个统一轨迹定义全局奖励函数 $R(T) = \text{Item-F1}(T_{ans}, T^*) - \lambda \cdot \frac{n_{err}}{N_{max}}$，其中第一项衡量信息检索的准确性，第二项惩罚格式错误。最后，使用GRPO算法对整个系统进行端到端优化——每个查询采样G个统一轨迹，通过组内相对优势更新策略。这与先前工作的本质区别在于：Kimi Agent Swarm只优化编排器而将子智能体视为静态参数，MGRPO和Fold-GRPO通常在每个步骤分叉固定数量（1个）的子智能体，OWL解耦规划与执行——而WideSeek同时优化主智能体和子智能体，使整个系统共同演化。

方法步骤详情

方法分为三个阶段。第一阶段是Cold Start（冷启动）：使用多个教师模型（如DeepSeek-V3.2、Kimi-K2）在训练集上生成多样化的轨迹，通过基于Item-F1的严格过滤机制（阈值 $\eta = 0.6$）保留高质量轨迹，然后通过SFT（最小化负对数似然损失）初始化策略。第二阶段是Multi-Agent Rollout（多智能体推理）：在顶层，主智能体在每个时间步 $t$ 观察全局状态 $s_{main}^t$（包含用户查询Q和历史高层思考及子结果），根据策略选择动作。如果动作属于规划空间 $\mathcal{A}_{planning}$，则调用 create_sub_agent 函数并行创建 $k$ 个子智能体（$k$ 由策略动态决定）；每个子智能体 $j$ 在其局部MDP中独立运行，使用搜索和打开页面等原子工具完成子任务，返回子结果 $r_j$ 更新全局状态。如果动作属于终止空间 $\mathcal{A}_{termination}$，则综合所有信息生成最终表格答案。第三阶段是Multi-Agent RL（多智能体强化学习）：将主智能体和所有子智能体的轨迹线性化为统一轨迹 $T$，使用GRPO进行优化，奖励由Item-F1和格式错误惩罚组成。

技术新颖性

WideSeek的技术新颖性体现在三个层面。第一，在架构层面，它是首个实现真正动态子智能体数量的多智能体系统——主智能体可以在任意步骤根据任务复杂度自主决定创建多少个子智能体，而不是像MGRPO那样固定分叉1个或像Kimi Agent Swarm那样预定义数量。第二，在训练层面，本文首次提出将多智能体系统的全部轨迹（包括主智能体规划和子智能体执行）线性化为统一序列进行端到端RL优化。这与OWL的解耦优化和Kimi的编排器-only优化形成本质区别——WideSeek使规划的广度和执行的工具调用对齐以最大化最终搜索效用。第三，在数据层面，本文基于知识图谱的形式化方法构造广域研究基准，使用集合算子精确控制任务的约束复杂度和信息量，这是对先前专注于搜索深度的信息驱动合成方法的有力补充。

**Figure 2**: The data pipeline of WideSeekBench construction

**Figure 3**: An illustration of Multi-Agent Reinforcement Learning

实验结果

实验结果揭示了几个重要发现。首先，现有最先进的闭源模型在WideSeekBench上表现有限：GPT-5.2的Mean@4 Item-F1仅为21.03%，Pass@4 Success Rate为0.00%，这凸显了大规模搜索的难度。值得注意的是，闭源模型存在明显的行为差异——DeepSeek-v3.2会分叉31.25个子智能体并执行326.41次工具调用，而GPT-5.2虽然执行408.64次工具调用但仅分叉11.21个子智能体，说明当前前沿模型虽具备并行任务编排的潜力，但缺乏专门优化来有效协调这些行为。其次，优化方法的效果显著：从基线Qwen3-8B-Thinking出发，SFT蒸馏带来巨大提升（WideSeek-8B-SFT的Item-F1从7.37%提升到11.35%，工具调用增加12.84倍），进一步的RL优化（WideSeek-8B-SFT-RL）达到最高的Item-F1 12.87%（+5.50%），工具调用增加28.82倍，子智能体数量增加6.36倍。RL从头训练（WideSeek-8B-RL）也能学习到扩大多智能体和工具调用的策略，Item-F1达到10.86%。训练动态分析显示奖励曲线与工具调用数量呈强正相关，证实模型自主发现了更广泛的信息搜索是最优策略。第三，WideSeek框架具有强大的泛化能力：在BrowseComp-Plus深度研究基准上，未训练的WideSeek框架使基线Qwen3-8B（14.22%）显著超越更大的Qwen3-32B ReAct（10.72%），训练后的WideSeek-8B-RL达到26.42%（+12.20%），说明将复杂查询分解为并行子任务有效缓解了上下文管理负担。

**Table 1**: Experiment results on WideSeekBench

**Table 2**: BrowseComp-Plus performance

**Table 3**: Comparison of WideSeekBench with existing information-seeking benchmarks

**Table 4**: Logical patterns in WideSeekBench

**Figure 4**: Item-F1 score, the number of sub-agents, and the number of tool calls on different task sets with different volume of target information

**Figure 5**: Item-F1 score on different constraint types

**Figure 6**: Item-F1 score on different domains

**Figure 7**: Comprehensive statistics of WideSeekBench

**Figure 9**: The training dynamics of WideSeek-8B-RL

查看结构化数据

任务	指标	本文	基线	提升
WideSeekBench - Item F1 (Mean@4)	Item F1 Score (%)	WideSeek-8B-SFT-RL: 12.87	Qwen3-8B-Thinking: 7.37	+5.50%（绝对值），相对提升74.6%
WideSeekBench - Row F1 (Max@4)	Row F1 Score (%)	WideSeek-8B-SFT-RL: 3.88	Qwen3-8B-Thinking: 1.51	+2.37%（绝对值），相对提升157%
WideSeekBench - Tool Calls	# Tool Calls	WideSeek-8B-SFT-RL: 273.75	Qwen3-8B-Thinking: 9.50	28.82倍增长
WideSeekBench - Sub-Agents	# Sub-Agents	WideSeek-8B-SFT-RL: 26.60	Qwen3-8B-Thinking: 4.18	6.36倍增长
BrowseComp-Plus (Deep Research泛化)	Accuracy (%)	WideSeek-8B-RL: 26.42	Qwen3-8B WideSeek: 14.22	+12.20%（绝对值），相对提升85.8%
BrowseComp-Plus (vs 大模型ReAct)	Accuracy (%)	WideSeek-8B-RL: 26.42	Gemini-2.5-Pro ReAct: 29.52	8B模型接近闭源大模型水平

局限与改进

论文的局限性主要体现在以下几个方面。首先，性能仍然受限于8B参数规模：尽管优化带来了显著提升，但WideSeek-8B-SFT-RL的Item-F1仅为12.87%，远低于闭源模型GPT-5.2的21.03%，说明推理瓶颈即使在大规模检索后依然存在，更大规模的模型可能会带来进一步提升。其次，在极端高信息量任务（[2048, 4096]）上，SFT初始化的模型出现了反直觉的工具调用频率下降和低成功率，表现出'早期停止'行为——这可能源于教师模型（前沿LLM）中蒸馏出的拒绝倾向，这些前沿LLM往往将此类高信息量任务评估为不可行。第三，NOT约束类型（集合差集操作）是当前搜索智能体的明显推理瓶颈，将否定与其他约束组合（如OR NOT）会导致性能显著下降，说明模型在排除特定实体集合方面的能力不足。此外，评估环境使用的是模拟搜索引擎（基于Wikidata 2025快照和Qwen3-0.6B-Embedding），与真实网络搜索存在差距，可能影响结果向真实场景的迁移。

独立分析的弱点

从独立分析的角度，本文存在以下弱点及改进方向。第一，数据流水线过度依赖Wikidata知识图谱：虽然KG提供了结构化的事实信息，但现实世界的广域研究任务往往需要从非结构化网页、PDF文档、数据库等多种来源综合信息。改进方向是将数据流水线扩展到多模态、多来源的知识提取，例如结合网页爬取、文档解析和数据库查询。第二，模拟搜索环境的局限性：当前使用Qwen3-0.6B-Embedding进行文档检索，top-k检索的精度和召回率可能与真实搜索引擎有显著差异，特别是在处理复杂查询时。改进方向是在真实搜索引擎上进行fine-tuning和评估，或使用更强大的检索模型。第三，NOT约束处理能力不足：实验显示集合差集操作是推理瓶颈，当前方法通过并行子智能体的架构难以有效处理排除逻辑。改进方向可以是引入专门的过滤智能体或在奖励函数中对NOT约束任务给予额外权重。第四，训练效率问题：使用64张H100 GPU进行80步RL训练，算力需求较高，且SFT阶段需要多个教师模型生成轨迹，复现成本不低。

未来方向

基于本文的成果，未来研究可以从多个方向延伸。作者提出的方向包括：探索更大规模模型（如32B、70B）上的多智能体RL优化效果，因为当前8B模型的性能瓶颈可能随模型规模增大而缓解。此外，将Wide Research范式扩展到更多实际应用场景，如企业数据情报分析、多语言信息检索、学术文献综述等。基于本文成果可延伸的方向包括：（1）异构多智能体系统——当前所有智能体共享同一checkpoint，未来可以探索不同能力的专用智能体（如擅长检索的、擅长推理的、擅长表格生成的）协作；（2）自适应广度控制——根据任务复杂度动态调整搜索广度，避免在简单任务上过度搜索或在复杂任务上搜索不足；（3）跨域迁移——研究在WideSeekBench上训练的能力能否迁移到其他广域研究任务，如开放域的竞品分析、政策研究等；（4）与Deep Research的统一——探索能否在一个框架内同时支持深度和广度的研究需求。

复现评估

论文在复现方面提供了较好的支持。代码和数据已在 https://wideseek-ai.github.io 发布。WideSeekBench包含4,436个训练任务和720个测试任务，数据流水线基于公开的Wikidata知识图谱（2025年10月1日快照）构建，使用QLever SPARQL引擎进行查询。模拟环境基于Wikipedia 2025快照构建，使用Qwen3-0.6B-Embedding进行文档检索。训练使用VERL和AgentLightning框架，基座模型为开源的Qwen3-8B，RL超参数在论文中有明确列出（batch size 64, learning rate 1e-6, 80步训练）。算力需求方面，使用64张H100 GPU进行RL训练，这对于学术实验室来说有一定门槛但并非不可及。SFT阶段需要多个教师模型生成轨迹，论文使用了DeepSeek-V3.2和Kimi-K2作为教师模型。评估使用GPT-4.1作为judge LLM。总体而言，复现难度中等——数据和代码可用，但算力需求和多教师模型的依赖增加了复现成本。

WideSeek：通过多智能体扩展推进广域研究 WideSeek: Advancing Wide Research via Multi-Agent Scaling