REDSearcher：面向长时程搜索智能体的可扩展高性价比训练框架 REDSearcher: A Scalable and Cost-Efficient Framework for Long-Horizon Search Agents
通过双约束任务合成、中训练与强化学习，打造高效长时程深度搜索智能体
前置知识
ReAct 范式
ReAct（Reasoning and Acting）是一种让大语言模型交替进行推理和行动的交互范式。在每一步中，模型先生成一段思考（Thought），描述当前的推理状态和下一步计划，然后执行一个动作（Action），如发起搜索查询、打开网页、调用代码执行器等，接着接收环境返回的观测（Observation），如此循环直至产出最终答案。这种思想-行动-观测的三元组序列构成了智能体的完整轨迹，是当前搜索智能体的主流工作方式。
REDSearcher 的整个训练和推理框架都建立在 ReAct 范式之上，理解这一范式是理解论文方法的基础。
树宽（Treewidth）
树宽是图论中衡量图结构复杂度的一个重要指标。给定一个图 G，其树宽定义为所有可能的树分解中，最大「袋」（bag）的节点数减一的最小值。直觉上，树宽衡量的是约束之间的耦合程度：树状结构（树宽=1）可以用分治法高效求解，而高树宽意味着变量之间高度纠缠，推理需要同时维护多个相互制约的假设。论文用树宽来刻画搜索任务的拓扑逻辑复杂度。
论文的核心创新之一是用树宽来精确控制合成任务的难度，理解树宽的概念才能理解双约束任务合成的设计动机。
GRPO（Group Relative Policy Optimization）
GRPO 是一种强化学习算法，用于大语言模型的策略优化。其核心思想是对每个问题采样一组轨迹，计算每条轨迹的奖励，然后在组内进行归一化得到相对优势估计，再用裁剪策略梯度目标更新模型参数。相比 PPO，GRPO 不需要额外的价值网络（critic），而是通过组内比较来估计优势函数，从而简化了训练流程并降低了计算开销。
REDSearcher 在后训练阶段采用 GRPO 作为强化学习算法，是理解其 RL 训练流程的关键。
中训练（Mid-training）
中训练是介于预训练和后训练之间的过渡阶段，目的是让模型从通用知识引擎转变为具备特定能力的智能体。REDSearcher 的中训练分为两个阶段：第一阶段强化原子能力（信息锚定提取和层次化规划），第二阶段引入工具调用和长时程交互。通过大规模合成数据的中训练，模型在接触真实环境之前就具备了基本的搜索能力，大幅降低了后续训练的数据收集成本。
中训练是 REDSearcher 区别于其他搜索智能体方法的核心设计之一，理解其两阶段架构对把握论文整体技术路线至关重要。
RLVR（Reinforcement Learning with Verifiable Rewards）
RLVR 是一种将可验证奖励信号用于强化学习的范式。在搜索智能体场景中，模型在完成一轮完整的工具交互后产出答案，由 LLM 裁判将其与标准答案进行比对，给出 0/1 二值奖励。这种基于结果的奖励信号是可验证的、确定性的，避免了奖励模型可能带来的偏好偏差，使强化学习训练更加稳定可靠。
REDSearcher 的强化学习阶段采用 RLVR 框架，以最终答案的正确性作为唯一奖励信号，理解这一机制才能理解其 RL 训练的设计选择。
研究动机
当前大语言模型正从静态知识引擎向动态智能体转型，但在深度搜索（deep search）场景下优化效果仍然有限。深度搜索要求智能体在多轮交互中迭代获取证据、维护多个竞争假设、跨多个来源综合信息，这与标准 RAG 的一次性检索有本质区别。优化这类长时程搜索智能体面临一个关键瓶颈：高质量监督信号的极度稀疏性。具体而言，存在两大不可逾越的障碍：第一，大规模合成复杂高质量推理任务极其困难。现有开源数据集大多由线性的、检索友好的任务组成，无法驱动智能体能力的进化；第二，收集涉及大量外部工具调用的交互式轨迹需要巨大的计算和时间成本。以 DeepSeek-V3.2 为例，在论文合成的 QA 数据集上仅能达到约 40% 的准确率，而人类标注者在 30 分钟搜索预算下也只能解决 47% 的实例，这说明任务的难度和成本问题同时存在。
本文的目标是REDSearcher 的目标是构建一个统一框架，联合优化任务合成、中训练和后训练三个阶段，实现对长时程搜索行为的可扩展、可控且高性价比的优化。具体目标包括：在 30B 参数量级的开源模型上达到与更大规模闭源模型可比的搜索智能体性能；在 BrowseComp、BrowseComp-ZH、GAIA、HLE 等基准测试上取得领先成绩；同时支持纯文本和多模态搜索场景；并将开源 10K 高质量复杂文本搜索轨迹、5K 多模态轨迹和 1K 文本 RL 查询集，以及代码和模型检查点。
与已有工作不同的是，REDSearcher 抓住了一个被现有工作忽视的关键点：搜索任务的复杂度可以从拓扑逻辑复杂度和信息源分散度两个维度进行精确刻画和控制。现有方法通常通过模板填充或随机采样生成训练数据，无法保证任务的结构性复杂度。REDSearcher 将任务合成建模为图到文本的逆问题——先构建具有特定树宽和证据分散度的推理图，再将其转化为自然语言查询。这种双约束优化确保了合成任务既具有高结构性复杂度（需要联合约束满足而非简单顺序推理），又具有高信息分散度（无法通过单页捷径检索解决），从而真正驱动搜索智能体的进化。
核心方法
REDSearcher 的方法可以类比为培养一个侦探的过程。首先，你不能只给侦探做简单的填空题（现有数据集的做法），而要设计需要多线索交叉验证的复杂案件（双约束任务合成）。然后，你先训练侦探的基本技能——在嘈杂信息中锁定关键线索（锚定提取）和制定调查计划（层次化规划），这不需要实际办案，成本很低（中训练第一阶段）。接着，你让侦探在模拟环境中练习完整的调查流程（中训练第二阶段）。最后，你让侦探在真实案件中磨练，并通过结果反馈不断改进（后训练：SFT + RL）。技术路线上，整个框架分为四大模块：(1) 双约束任务合成管线，从知识图谱生成拓扑复杂且证据分散的 QA 对；(2) 两阶段中训练，分别强化原子能力和复合交互能力；(3) 基于 SFT 的监督微调；(4) 基于 GRPO 的智能体强化学习。整个流程从开源模型出发，通过低成本大规模合成数据，逐步将模型从通用语言模型转变为深度搜索专家。
REDSearcher 的核心创新在于将搜索任务的复杂度分解为两个正交维度并进行联合控制：拓扑逻辑复杂度（用树宽 $tw(G)$ 衡量约束之间的耦合程度）和信息分散度（用最小源分散度 $D_{task}$ 衡量所需证据在多少个不同文档中）。这一洞察的关键在于，单独的高树宽或高分散度都不足以保证任务真正困难——一个树宽为 3 的复杂查询可能因为所有关键信息恰好集中在同一篇维基百科页面上而被一次性检索解决。只有当两个维度同时被约束到较高水平时，任务才真正迫使智能体进行迭代规划和跨文档综合。论文将任务合成建模为约束满足问题，通过图拓扑控制（引入环和团结构）和证据分散约束（将逻辑上耦合的事实故意放置在不相交的来源中），确保生成的任务既不能通过简单推理解决，也不能通过单页检索捷径解决。这种双约束视角是现有工作从未采用过的。
方法步骤详情
REDSearcher 的完整方法流程如下。第一阶段是双约束任务合成：(1) 从英文和中文维基百科实体中收集种子集，通过长度阈值、结构过滤、元页面移除和概念过滤四级级联筛选出高质量实体；(2) 从种子实体出发，通过 Wikidata 结构化关系采集和网页超链接遍历构建有向无环图，并部署 LLM 驱动的图智能体进行拓扑富化，在依赖图中引入环结构，打破搜索路径的线性；(3) 采用「一图多任务」采样策略，从每个主图中提取多个连通子图作为独立推理上下文，在子图内根据拓扑角色选择答案节点；(4) 用 LLM 生成自然语言问题；(5) 通过工具注入策略将静态实体改写为工具可解析的功能依赖，如将地名替换为路线约束、将人名替换为引用量约束。第二阶段是多阶段验证：LLM 无工具求解器预筛、搜索片段可检索性检查、幻觉/不一致性检查、智能体 rollout 验证和答案唯一性检查。第三阶段是中训练：Stage I（32K 上下文）强化意图锚定提取和层次化规划两项原子能力；Stage II（128K 上下文）引入工具调用数据和长时程交互轨迹。第四阶段是后训练：首先在真实环境（搜索、网页访问、Python 执行、Google Scholar、Google Maps）中合成高质量 ReAct 轨迹并进行 SFT，然后用 GRPO 进行智能体强化学习，奖励信号为最终答案正确性的 0/1 判断。
技术新颖性
REDSearcher 在技术新颖性上有多个层面的突破。首先，双约束任务合成框架是全新的——现有工作要么关注任务的逻辑复杂度（如多跳 QA 的跳数），要么关注数据的多样性，但从未将拓扑结构和信息分散度作为联合优化目标。论文用树宽理论为任务难度提供了严格的数学刻画，推理成本近似为 $C_{reasoning} \approx O(N \cdot d^{k+1})$，其中 $k = tw(G)$，这比简单的「跳数」指标更能反映实际认知负荷。其次，工具注入策略将文本检索无法解决的约束嵌入查询中，使工具调用成为推理轨迹的内在前提而非可选操作，这比现有方法中工具使用主要依赖稀疏试错探索要高效得多。第三，两阶段中训练将原子能力获取与交互执行分离，第一阶段完全使用合成数据无需环境交互，大幅降低了训练成本。第四，功能等价的模拟环境既保证了证据完整性，又引入了足够的噪声干扰，支持高速 RL 迭代而不受外部 API 延迟和不稳定的制约。
实验结果
REDSearcher 在多个基准测试上取得了 30B 参数量级开源模型的最新最优结果。在纯文本基准上，REDSearcher（配合上下文管理技术）在 BrowseComp 上达到 57.4，BrowseComp-ZH 上达到 58.2，GAIA 上达到 80.1，HLE 上达到 34.3，总体得分 51.6。这些成绩显著超越了同量级竞争者如 Tongyi DeepResearch-30B（48.5）和 WebSailorV2-30B（46.0），甚至超越了 Claude-4.5-sonnet（41.1）和 OpenAI-o3（49.6）等更大规模的闭源模型。特别是在 GAIA 基准上，REDSearcher 的 80.1 分超过了 GPT-5-Thinking-high 的 76.7 分，展现了卓越的复杂智能体能力。中训练消融实验表明，两个阶段的中训练带来了从 42.81 到 47.39 的稳步提升：Stage I 的意图锚定提取使 BrowseComp 提升 1.87 分，层次化规划使 GAIA 提升 4.13 分；Stage II 的工具使用和长时程交互使 BrowseComp-ZH 提升了 8.91 分。强化学习进一步将平均评估奖励从 47.4 提升到 51.3（+3.9，相对提升 8.2%），BrowseComp 从 39.4 提升到 42.1（+2.7，相对提升 6.8%）。一个有趣的发现是，RL 训练后模型的平均工具调用次数从 100.6 降低到 90.1（减少 10.4%），但性能不降反升，说明模型学会了更高效的搜索策略。在多模态基准上，REDSearcher-MM-RL 在 BrowseComp-VL 上达到 57.2，MMSearch 上达到 72.9，LiveVQA 上达到 79.3，同样展现了强劲的多模态搜索和推理能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BrowseComp | Accuracy | 42.1 / 57.4*（含上下文管理） | TongyiDR-30B: 43.4 | 同规模开源 SOTA，57.4* 超越所有 30B 模型 |
| BrowseComp-ZH | Accuracy | 49.8 / 58.2*（含上下文管理） | TongyiDR-30B: 46.7 | 同规模领先，+3.1 / +11.5* |
| GAIA | Accuracy | 80.1 | GPT-5-Thinking-high: 76.7 | +3.4，超越最强闭源模型 |
| HLE（Humanity's Last Exam） | Accuracy | 34.3 | TongyiDR-30B: 32.9 | +1.4 |
| Overall（4 基准平均） | Average | 51.6 | TongyiDR-30B: 48.5 | +3.1 |
| MM-BrowseComp | Accuracy | 26.6（RL） | Qwen3-VL-235B: 12.1 | +14.5，大幅超越 |
| BrowseComp-VL | Accuracy | 57.2（RL） | Gemini-3-Pro: 56.4 | +0.8 |
| MMSearch | Accuracy | 72.9（RL） | Vision-DeepResearch-30B: 69.6 | +3.3 |
局限与改进
论文存在若干值得审视的局限性。首先，在上下文管理方面，REDSearcher 采用了简单的「全部丢弃」（Discard-all）策略，当上下文超过阈值时直接丢弃所有历史工具调用记录，仅保留原始问题和最小任务规范。这种策略虽然释放了更多 token 预算用于继续探索，但会导致约束追踪中断，可能在极长推理链中丢失关键中间结论。其次，在评估方面，论文主要在已有的基准上进行评测，这些基准的难度分布可能与真实世界的搜索场景存在偏差。第三，论文的 RL 训练使用 0/1 二值奖励，虽然避免了奖励模型的偏好偏差，但也意味着无法为部分正确的推理过程提供细粒度的信用分配信号。第四，模拟环境虽然实现了功能等价，但其基于维基百科和缓存网页构建的封闭语料库无法完全模拟真实网络的动态性和不可预测性，模型在模拟环境中学到的策略迁移到完全开放的网络环境中可能面临泛化挑战。最后，论文的多模态扩展主要通过模态注入实现，即将文本推理图中的部分约束锚定到图像上，但图像的选择和注入质量高度依赖于自动化管线，可能引入噪声。
独立分析的弱点
REDSearcher 的第一个显著弱点是上下文管理策略过于粗暴。「全部丢弃」策略在长推理链中可能导致关键信息丢失，尤其是在需要回溯和交叉验证的高树宽任务中。改进方向是采用分层摘要或渐进式压缩策略，保留关键约束和中间结论的压缩表示而非全部丢弃。第二个弱点是 RL 训练的奖励信号过于稀疏，仅使用最终答案正确性的 0/1 判断。在深度搜索场景中，一条轨迹可能包含数十次工具调用，正确的中间步骤和错误的中间步骤获得相同的零奖励，这使得信用分配极为困难。可以考虑引入过程奖励模型（process reward model）或步骤级别的奖励塑形（reward shaping），为关键的中间推理步骤提供正向信号。第三个弱点是模拟环境的真实性有限，URL 混淆和封闭语料库虽然解决了部分偏置问题，但模型可能仍然会学到环境特有的模式而非通用的搜索策略。可以考虑在训练后期逐步引入真实 API 调用，实现从模拟到真实的渐进式迁移。第四个弱点是任务合成管线的验证成本较高，多阶段验证虽然保证了数据质量，但 LLM 求解器预筛和智能体 rollout 验证都需要大量推理调用，限制了合成规模的进一步扩展。
未来方向
从作者提出的方向来看，论文承诺将开源 10K 高质量复杂文本搜索轨迹、5K 多模态轨迹和 1K 文本 RL 查询集，以及代码和模型检查点，这将为社区提供宝贵的资源。从论文成果可以延伸的方向包括：(1) 将双约束任务合成框架推广到更多领域，如代码调试、科学实验设计等需要多步推理和工具使用的场景；(2) 探索更精细的 RL 奖励设计，如引入搜索效率奖励（在保证正确性的前提下最小化工具调用次数）和证据质量奖励（评估收集到的证据的相关性和充分性）；(3) 研究多智能体协作搜索，让多个 REDSearcher 实例分工合作处理不同子问题；(4) 将树宽理论更深入地应用于搜索策略优化，根据任务的实时树宽估计动态调整搜索计划；(5) 探索从模拟环境到真实环境的更平滑迁移策略，如课程学习或域随机化。
复现评估
REDSearcher 的复现前景较好。论文承诺开源 10K 高质量复杂文本搜索轨迹、5K 多模态轨迹和 1K 文本 RL 查询集，以及代码和模型检查点，这大幅降低了复现门槛。在基础模型方面，论文基于开源模型构建，不依赖闭源 API。中训练和 SFT 阶段使用的大规模合成数据可以通过论文描述的管线自行生成，但需要访问维基百科 dump 和网页缓存。RL 训练需要构建本地模拟环境（基于维基百科和网页缓存，包含数千万文档）和真实环境接口（搜索、网页访问、Python 执行、Google Scholar、Google Maps）。算力方面，30B 参数模型的训练需要多卡 GPU 集群，RL 阶段的异步 rollout 进一步增加了算力需求。论文的模拟环境设计和异步 rollout 框架基于 Slime 实现，有一定的工程复杂度。总体而言，复现论文的核心方法可行，但完整复现 RL 训练流程需要较大的算力投入和工程资源。
论文图表