WideSeek-R1：通过多智能体强化学习探索宽度扩展以实现广泛信息检索 WideSeek-R1: Exploring Width Scaling for Broad Information Seeking via Multi-Agent Reinforcement Learning
用MARL训练的多智能体系统，4B模型匹敌671B单智能体的广域信息检索能力
前置知识
宽度扩展（Width Scaling）
宽度扩展是相对于深度扩展（Depth Scaling）的一种新测试时计算范式。深度扩展通过增加单个智能体的推理轮数（如更长的思维链）来提升性能，而宽度扩展则通过增加并行智能体数量来处理更广泛的任务。在宽度扩展中，一个主导智能体将宽泛目标分解为独立子任务，然后协调多个并行子智能体同时执行，从而突破单个智能体的能力上限。这种范式特别适合需要同时收集多个实体信息的广域信息检索任务。
本文的核心贡献就是证明宽度扩展的有效性，理解这个概念是把握论文主旨的关键
多智能体强化学习（MARL）
MARL是将强化学习扩展到多智能体场景的训练范式。在本文中，MARL被用于同时优化主导智能体的协调能力和子智能体的执行能力。与传统多智能体系统依赖手工编排的工作流不同，MARL允许智能体通过端到端训练学习如何有效协作。本文基于GRPO（Group Relative Policy Optimization）算法，引入了多智能体优势分配和双层优势重加权机制来处理多智能体、多轮交互的复杂训练场景。
MARL是本文的技术核心，训练方法的创新直接决定了多智能体系统能否有效工作
上下文污染（Context Pollution）
上下文污染是指在单智能体多轮交互场景中，随着交互轮数增加，智能体的上下文中积累了大量来自先前子任务的无关信息，导致其对当前任务的处理能力下降。这类似于一个工程师在处理第50个问题时，脑子里还残留着前面49个问题的杂乱信息。上下文污染是单智能体方法在广域信息检索任务中的核心瓶颈之一。
上下文污染是本文要解决的核心问题之一，理解它才能理解为什么需要多智能体的上下文隔离设计
GRPO（Group Relative Policy Optimization）
GRPO是由DeepSeek提出的一种强化学习算法，用于训练LLM的推理能力。与PPO等传统RL算法不同，GRPO不需要单独训练一个价值模型（critic），而是通过在同一组（group）内采样多个rollout，计算组内相对优势来更新策略。具体做法是对每个查询采样G个rollout，计算奖励的组内归一化优势，其中mu和sigma是组内奖励的均值和标准差。本文在此基础上扩展为多智能体版本。
GRPO是本文训练方法的基础，理解它才能理解本文的多智能体优势分配和双层重加权机制
广域信息检索（Broad Information Seeking）
广域信息检索是一种需要同时收集和综合多个实体属性信息的任务类型。与深度研究（deep research）针对单个复杂查询进行深入调查不同，广域信息检索涉及大量子任务，需要将多个实体的信息整理成结构化表格形式。例如列出所有Ivy League大学的名称、所在城市和成立年份就是一个典型的广域信息检索任务。这类任务需要系统具备任务分解和并行执行的能力。
这是本文选择的核心任务场景，理解任务特点才能理解为什么现有方法会失败
研究动机
现有大语言模型智能体的研究主要聚焦于深度扩展（depth scaling），即通过单个智能体进行多轮推理和工具使用来解决长周期问题。然而，当任务变得更广泛时，关键瓶颈从个体能力转变为组织能力。具体来说，单智能体方法在广域信息检索场景下存在两个致命缺陷：第一，上下文污染问题——随着智能体处理越来越多的子任务，其上下文中积累了大量来自先前子任务的无关信息，严重降低了后续任务的处理性能；第二，顺序执行限制——智能体被迫串行处理本质上独立的子任务，导致效率低下。以Anthropic 2026年的报告为例，他们明确指出上下文污染已成为制约智能体性能的关键因素。在WideSearch基准测试中，即使是强大的DeepSeek-R1-671B在处理需要收集数十个实体信息的任务时也表现有限，单智能体方法的Item F1分数仅为41.3%，Success Rate仅为0.4%。
本文的目标是本文的具体目标是探索宽度扩展（width scaling）作为深度扩展的互补维度，通过多智能体系统来解决广域信息检索任务。具体量化目标包括：训练一个仅4B参数的多智能体系统，使其在WideSearch基准测试上的性能接近甚至匹敌671B参数的单智能体DeepSeek-R1；证明随着并行子智能体数量增加，系统性能能够持续提升而非饱和或下降；同时保持在标准QA基准测试上的通用推理能力不受损害。
与已有工作不同的是，本文的独特切入角度在于抓住了现有多智能体系统的两个被忽视的关键缺陷。第一，大多数现有工作（如CAMEL、AutoGen）依赖手工编排的工作流，而非学习到的智能体，这限制了协调的灵活性和可扩展性。第二，当前系统（如OWL、MiroFlow）通常采用轮流交互的方式，逐个处理子任务，未能实现真正的并行执行。本文的核心洞察是：宽度扩展的潜力需要通过端到端训练来释放，而不是通过更精巧的手工设计。与采样聚合方法（如best-of-N和self-consistency）不同，本文的方法是将宽泛目标分解为独立子任务，通过可扩展的协调和并行执行来提升性能，这是一种本质不同的计算利用方式。
核心方法
WideSeek-R1的方法可以用一个简单的类比来理解：想象一个项目经理（lead agent）带领一个团队完成一个大型调研项目。项目经理不亲自去查资料，而是把大任务拆分成多个独立的小任务，分配给多个研究员（subagents）同时去做。每个研究员有自己的工作空间（隔离的上下文），使用搜索和浏览工具收集信息，完成后向项目经理汇报。项目经理根据汇报结果决定是否需要进一步调研，最终汇总所有信息形成完整报告。技术路线上，系统由三部分组成：（1）主导智能体，专注于任务分解和多轮协调，唯一的工具是call_subagent；（2）多个并行子智能体，使用search和access工具执行具体的信息检索任务；（3）基于MARL的端到端训练框架，同时优化主导智能体和子智能体。所有智能体共享同一个4B参数的LLM（Qwen3-4B），但拥有不同的工具集和隔离的上下文。
本文的核心创新在于通过多智能体强化学习（MARL）实现端到端的联合训练，而非依赖手工编排的工作流。这与已有方法的本质区别体现在三个层面。首先，在协调层面，现有系统用预定义规则决定任务分配，而WideSeek-R1的主导智能体通过训练学会了如何分解任务、生成有效的子任务提示、以及何时需要进一步调研。其次，在执行层面，现有系统轮流处理子任务（turn-taking），而本文的子智能体真正并行执行，每个子智能体在独立的上下文中工作，避免了上下文污染。第三，在训练层面，本文提出了两个关键技术：多智能体优势分配——使用可验证的结果奖励，同一组内所有智能体共享相同的优势值；双层优势重加权——在token层面和智能体层面分别进行优势重加权，防止轮次多的rollout主导梯度，以及防止智能体数量多的rollout主导梯度。这种设计解决了多智能体RL训练中信用分配的难题。
方法步骤详情
WideSeek-R1的完整方法流程分为训练数据构建和模型训练两大部分。训练数据构建采用三阶段自动化流程：第一阶段（Query Generation），从HybridQA数据集中提取用户意图，随机采样10-50行的目标行数，生成初始查询，然后通过Gemini进行三次精炼，添加格式约束、列定义等严格约束，减少歧义。第二阶段（Answer Generation），对每个精炼后的查询，独立生成两个响应和唯一列标识符（unique columns），用于后续的一致性验证。第三阶段（QA Pair Filtering），进行两步过滤：首先通过cell-wise比较验证两个响应的事实一致性，丢弃一致性低于0.9的实例；然后进行复杂度过滤，移除行数少于3行的简单结果。最终保留率为73.28%，得到20,000个高质量训练实例。模型训练方面，基于Qwen3-4B在thinking mode下训练，使用混合数据集（本文构造的广域数据和ASearcher的标准QA数据各占一半）。训练使用32张H100 GPU，batch size 128，最大上下文长度32K，学习率1e-6，共训练150步。主导智能体每轮最多调用10个并行子智能体，最多10轮；每个子智能体最多20轮，每轮最多5个并行工具调用。
技术新颖性
WideSeek-R1的技术新颖性主要体现在以下几个方面。第一，首次将宽度扩展系统化地引入LLM智能体领域，提出了与深度扩展互补的新范式。此前的工作（如best-of-N、self-consistency）虽然也涉及多次采样，但本质上是对同一任务的重复求解，而非任务分解后的并行执行。第二，提出了一套完整的多智能体RL训练方法，包括多智能体优势分配和双层优势重加权机制。多智能体优势分配使用组归一化的优势值，避免了复杂的信用分配可能导致的reward hacking。双层重加权在token层面（确保多轮交互中token数量多的轮次有更大影响力）和智能体层面（防止子智能体数量多的rollout主导梯度）分别处理。第三，设计了受限的工具集——主导智能体仅有call_subagent一个工具，这种设计是有意为之的，避免主导智能体直接接触外部信息导致上下文污染。第四，构建了大规模的广域信息检索训练数据集（20k实例），填补了该领域数据资源的空白。
实验结果
实验结果全面验证了WideSeek-R1的有效性。在WideSearch基准测试（200个任务，100个英文+100个中文）上，WideSeek-R1-4B取得了令人瞩目的成绩：Item F1分数Avg@4达到40.0%，Max@4达到51.8%；Row F1分数Avg@4为15.3%，Max@4为24.4%；Success Rate Avg@4为0.4%，Pass@4为1.0%。这些结果在4B和8B基线模型中五个指标排名第一。最令人惊讶的是，WideSeek-R1-4B仅用约170倍更少的参数，就达到了与单智能体DeepSeek-R1-671B（Item F1 41.3%）相当的性能。与同为多智能体设置的Qwen3-4B相比，WideSeek-R1-4B在Item F1上提升了8.8个百分点，证明MARL训练确实释放了多智能体系统的潜力。宽度扩展实验（Figure 4）显示了关键的对比：在深度扩展下，基础模型的性能很快饱和；而WideSeek-R1-4B在增加并行子智能体数量时表现出持续的性能提升，将宽度扩展的前沿推至40%的Item F1。消融实验表明，同时训练主导智能体和子智能体效果最佳，单独升级任一方都能带来收益，但组合使用效果更好。在标准QA基准测试上，WideSeek-R1-4B在7个数据集上的平均得分为59.0%，比多智能体Qwen3-4B高出7.7个百分点，甚至超越了更大的OWL-8B和MiroFlow-8B系统。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WideSearch（广域信息检索基准） | Item F1 Score (Avg@4) | 40.0% | DeepSeek-R1-671B: 41.3% | 用170x更少参数达到相当性能 |
| WideSearch | Item F1 Score (Avg@4) | 40.0% | Qwen3-4B多智能体: 31.2% | +8.8pp绝对提升 |
| WideSearch | Row F1 Score (Avg@4) | 15.3% | Qwen3-4B多智能体: 8.4% | +6.9pp绝对提升 |
| 标准QA基准（7个数据集平均） | Average Score (Avg@4) | 59.0% | 多智能体Qwen3-4B: 51.3% | +7.7pp绝对提升 |
| WideSearch | Item F1 Score (Avg@4) | 40.0% | SingleSeek-R1-4B: 28.1% | +11.9pp多智能体vs单智能体 |
局限与改进
作者在附录中坦诚地讨论了四个主要局限。第一，模型规模限制：目前仅评估了Qwen3-4B模型，因为训练基于推理的多智能体系统计算成本极高，即使4B参数的模型也需要约3000个H100 GPU小时。第二，信用分配粗粒度问题：当前框架中奖励信号来自最终任务结果并在整个智能体组内共享，这导致难以区分失败是源于主导智能体的协调失误还是子智能体的执行错误。第三，层级结构固定：虽然框架理论上支持递归的智能体工作流，但为确保训练稳定性，系统被限制为静态的两层结构，子智能体不能递归地生成自己的子智能体。第四，训练效率低下：profiling显示约90%的训练步时间被rollout占据，主要原因是长尾生成。此外，从我的观察来看，Success Rate（完全正确率）仍然极低（0.4%），说明系统在要求表格完全匹配的任务上表现有限；系统的泛化能力是否能扩展到更大规模的模型（如8B、70B）也有待验证。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个关键弱点。第一，信用分配粒度太粗——所有智能体共享相同的优势值，这意味着即使某个子智能体完全失败，它也会获得与成功子智能体相同的训练信号。改进方向可以探索基于注意力机制或因果追踪的智能体级信用分配，为不同智能体分配差异化的训练信号。第二，静态两层结构限制了系统的表达能力——当子任务本身变得复杂时，子智能体无法进一步分解任务。可以考虑渐进式解锁递归能力，从两层开始，逐步增加层级深度，同时引入深度惩罚来控制复杂度。第三，离线知识库限制了实际应用——训练和部分评估使用Wiki2018构建的离线知识库，这与真实网络搜索场景存在差距。在处理时效性信息（如2025年数据）时，系统可能会产生幻觉或给出过时答案。改进方向是引入混合知识源策略，结合实时搜索和本地知识库。第四，主导智能体的工具集过于单一——仅有call_subagent一个工具，当面对需要全局概览才能有效分解的任务时可能力不从心。可以考虑增加轻量级的元信息查询工具，如实体计数或类别枚举功能。
未来方向
论文和基于论文成果可延伸的未来方向包括以下几个方面。第一，作者提出探索更细粒度、基于角色的奖励建模来解决信用分配问题，这是非常必要的改进方向。第二，探索异步rollout或解耦的生成-训练范式来提高训练效率，因为当前90%的训练时间被rollout占据。第三，将宽度扩展推广到更大规模的模型——当前仅在4B模型上验证，8B、70B甚至更大的模型是否也能从宽度扩展中获益值得研究。第四，将框架应用于更广泛的任务类型——本文聚焦于表格形式的广域信息检索，但宽度扩展的思路可以扩展到其他需要并行处理的任务，如多文档摘要、对比分析、产品评测等。第五，探索深度和宽度的动态组合——在实际应用中，某些子任务可能需要深度调查，而另一些需要广度覆盖，动态决定每个子任务应该分配多少深度和宽度资源是一个有价值的研究方向。第六，研究多智能体系统的涌现行为——随着智能体数量增加，系统是否会出现新的协作模式或能力涌现。
复现评估
论文在复现性方面做得相当好。作者开源了代码（项目页面和GitHub链接已提供）、数据集（20k广域信息检索任务）和模型。数据集构建过程使用了Gemini-3-pro-preview API，每个实例的生成成本约为0.10美元，总成本约2000美元。模型训练使用32张H100 GPU，约3000 GPU小时，这对于大多数研究团队来说是一笔不小的开销，但相比训练671B的DeepSeek-R1已经是极大的降低。评估使用了WideSearch基准测试和7个标准QA数据集，评估代码和工具配置都有详细说明。训练使用了RLinf框架和SGLang进行高效rollout，Megatron用于优化。总体而言，对于拥有中等规模GPU集群（32张H100）的研究团队，复现是可行的，但对于更小的团队可能需要依赖开源模型和数据。训练数据的73.28%保留率和详细的过滤标准也为数据质量提供了保障。
论文图表
