Iris：攀登搜索前沿 Iris: Climbing to the Search Frontier
从网页超链接结构逆向构造多跳难题，SFT-RL交替攀登训练出同级最强开源搜索智能体
前置知识
ReAct 范式
让语言模型交替输出推理（Reason）与行动（Act）的智能体框架：模型先写一段思考，再发起一次工具调用（如搜索、抓取网页），收到观测结果后继续推理，循环直到给出最终答案。本文的智能体工具集只有 SEARCH 和 SCRAPE 两个工具，轨迹就是『思考-工具调用-观测』的序列。
Iris 全程使用单一 ReAct 智能体，无子智能体、无测试时验证；数据合成、轨迹收集、SFT 训练目标和 RL 回滚都以 ReAct 的消息序列为基本单元，不理解这个结构就看不懂训练目标怎么设计的。
上下文管理（Context Management, CM）
长程搜索会产生大量工具返回的网页内容，很快耗尽模型的上下文窗口。CM 是在推理时对交互历史做处理的策略总称：轨迹摘要、选择性删除历史、整体清空重来（discard-all）、失败后带经验重试（retry）等。它相当于给模型外挂一个『记忆管理器』来延长有效搜索预算。
本文最重要的立场是 CM 应被视为『有效推理系统的一部分』而非实现细节：Table 2 显示 CM 可带来高达 21.2 分的提升，因此论文坚持每个基准同时报告开/关 CM 两组结果，这是理解其评估方法论的前提。
多跳问题与任务逆向构造
多跳问题指答案需要串联多条证据链（多次检索、多次推理）才能得到的问题。逆向构造指不从问题出发，而是从已知答案和网页超链接结构反推：沿实体关系路径铺设线索，再抹掉表面痕迹，让问题『天生』需要多跳搜索才能解开。
自然产生的网络问题大多太简单，模型靠参数记忆就能答对，不适合训练。Iris 的整条数据流水线就是围绕『如何自动造出又难又可解的多跳题』展开的，这是论文的第一个核心贡献。
组相对策略梯度与部分回滚
组相对策略梯度（GRPO 类方法）对每个问题采样一组轨迹，用组内奖励的相对高低作为优势信号，无需训练价值网络。部分回滚指长轨迹采样超时后不丢弃已完成部分：打断请求、缓存已提交前缀的 token/掩码/对数概率/权重版本，下一步从该前缀继续采样，拼接处的策略权重不一致用截断重要性采样修正。
RL 阶段面对的是需要几十轮工具调用的超长回滚，是训练系统的主要瓶颈；Iris 的请求级部分回滚（约 2 倍超采样作余量）是保证同步训练吞吐的关键工程设计。
生成式奖励模型（GenRM）
用一个强语言模型直接对候选答案与参考答案做比对，输出正确/错误的判定（或打分），替代传统的规则匹配或训练一个独立打分头。本文用集群内的自研 Qwen3.5-397B-A17B（FP8 引擎）同时扮演 GenRM 奖励裁判和观测摘要器两个角色。
搜索类任务的答案形态多样（实体名、数字、表述变体），字符串匹配会大量误判；GenRM 提供二值奖励 $R(q,\tau)=\mathbb{I}[\text{GenRM}=A]$。将其共置训练集群内，使整个 RL 回路不依赖外部 API，是可复现性的关键设计。
SFT 与 RL 交替训练
监督微调（SFT）直接最大化教师/成功轨迹的似然，擅长固化行为；强化学习（RL）按相对奖励改进当前策略自己采样出的行为，擅长探索。交替进行时，每轮 RL 探索出的高质量新轨迹被蒸馏回策略（再做一次 SFT），然后 RL 从更强的模型继续探索。
论文称之为 SFT–RL climbing（攀登）：RL 中 pass 率在 $0<\bar{R}(q)\le 1/2$ 的题目被选出来、取最短成功轨迹回流 SFT，难度带随策略变强自动上移，形成自步课程。这是标题『Climbing』的由来，也是训练配方的骨架。
研究动机
搜索智能体让 LLM 通过调用搜索、抓取等工具在开放网络上完成长程信息检索，但训练数据是根本瓶颈：自然产生的网络问题大多能被模型参数记忆直接答出，人工编写难题又昂贵且难规模化。已有工作开始沿超链接或知识图谱路径遮蔽实体来构造难题，但两类深层问题依然存在。其一是『假难题』：题面若残留可直接搜索的实体名或别名，智能体就能用字符串匹配绕过预设的推理链，训练信号随之失效。其二是评估失真：长程搜索极易耗尽上下文窗口，各系统普遍依赖上下文管理（CM）策略在推理时『续命』。Table 2 的数据触目惊心——FORT-Searcher 无 CM 时 BrowseComp 仅 55.9，加 discard-all 后跳到 72.2（+16.3）；REDSearcher 无 CM 基线更是只有 42.1。也就是说，许多已发表的分数更多来自推理外壳而非策略本身，社区很难判断一个搜索模型的真实能力，也无法公平比较。
本文的目标是本文的目标是给出一条端到端的搜索智能体打造配方，覆盖数据构造、训练、评估三个环节，并在 35B-A3B（Iris-mini）与 397B-A17B（Iris-pro）两个 MoE 规模上实例化验证，最终计划开源模型权重与完整 recipe。具体拆解为：数据上，自动合成『参考模型闭卷答不出、给了证据就能答对』且无法靠字符串匹配作弊的多跳问题；训练上，通过轨迹级+轮级双重过滤的 SFT 与真实网络 RL 交替迭代，把每轮 RL 中『已能解但不稳定』题目上的最短成功轨迹回流给下一轮监督训练；评估上，把工具集、上下文预算、判定裁判全部固定，对四个基准（BrowseComp、BrowseComp-ZH、DeepSearchQA、HLE）同时报告带 CM 与不带 CM 两组结果，让策略本身的能力与推理时外壳的增益可以被分开度量——明确表示目的不是用越来越复杂的推理技巧刷分，而是训练一个真正会搜索的模型。
与已有工作不同的是，与已有工作的差异体现在三个层面。数据侧：先前工作多沿链接/图谱路径直接遮蔽实体，本文用抽象算子 $\mathcal{A}$ 把每个非答案实体改写成描述性指代（要求 $\text{name}(e),\text{alias}(e)\notin\mathcal{A}(e)$ 且仍唯一指认该实体），从机制上封死字符串匹配捷径，再叠加双准则验证——参考模型闭卷失败 $c_{\text{diff}}$ 且带实体图谱 $G_e$ 能答对 $c_{\text{solv}}$ 才收录。训练侧：提出 SFT–RL climbing，用当前策略 pass 率 $0<\bar{R}(q)\le 1/2$ 的难度带自动构成自步课程；RL 中把奖励裁判与观测摘要器（均为自研 397B 模型的 FP8 引擎）共置训练集群摆脱外部 API，并用请求级部分回滚复用长轨迹前缀，而非像任务级流式那样丢弃未完成任务。评估侧：坚持无 CM/有 CM 双轨报告并固定工具集、上下文与裁判，把 CM 当作『有效推理系统的一部分』来显式度量，这是与多数只报告 CM 开启结果的工作本质不同的诚实姿态。
核心方法
先讲直觉：要让搜索智能体真正学会『搜』，训练题必须满足『参数记忆答不出、必须组合多源证据才能答对』，且没有可直搜的锚点；评估必须把策略能力与推理外壳分开度量。技术路线分三段。第一段数据流水线：把网页语料建成有向图 $G=(V,E)$，从答案锚定的种子页 $v_0$ 沿出链扩成子图 $G_{\text{sub}}$，蒸馏出实体图谱 $G_e$，生成推理路径 $\mathcal{P}$ 至少含 $N$ 条耦合关系且答案 $y$ 不在题面的问题，用抽象算子改写成 $\tilde{q}$，再以双准则（闭卷失败×带证据成功）留下数据集 $\mathcal{D}$。第二段训练：强教师按 ReAct 产出轨迹，经轨迹级粗过滤（正确性、退化检测、深度、去重）与轮级细过滤（数据归纳的 rubric，最多遮 10% 助手轮）后做 SFT；再对真实搜索做组相对策略梯度 RL，奖励由集群内 GenRM 给出、观测由同引擎即时摘要。第三段 SFT–RL climbing：每轮 RL 后选出 $0<\bar{R}(q)\le 1/2$ 题目上最短的成功轨迹回流 SFT。全程单一 ReAct 智能体、无子智能体、无测试时验证。
核心创新有三。第一是『锚点抽象』：题面残留实体名会让智能体直接搜原文绕过推理，$\mathcal{A}(e)$ 把每个非答案实体改写成描述性指代，保证 $\text{name}(e),\text{alias}(e)\notin\mathcal{A}(e)$ 且仍唯一识别 $e$，迫使模型靠推理消歧而非字符串匹配——比常见『只遮蔽答案实体』彻底得多，且推理结构与答案不变。第二是『双准则验证』：闭卷失败保证难度（$c_{\text{diff}}$），带 $G_e$ 上下文答对保证可解且答案唯一（$c_{\text{solv}}$），两者交集构成全自动的『难而可解』过滤器，无需人工。第三是 SFT–RL climbing：RL 擅长改进当前策略常采样的行为，SFT 擅长直接强化罕见但成功的轨迹，交替进行相当于用策略自身 pass 率 $0<\bar{R}(q)\le 1/2$ 划定难度带的自步课程，候选池枯竭天然给出停止信号。配套设计——奖励 GenRM 与观测摘要器共置集群（FP8 跑自研 397B 模型）、请求级部分回滚复用前缀——让训练回路完全不依赖外部 API，一次算力分配覆盖训练、回滚与奖励。
方法步骤详情
流程：(1) 网图构建：答案锚定采样种子页 $v_0$，沿出链扩成 $G_{\text{sub}}$；因渲染剥离内联锚点，合并 RDF 三元组与渲染标记恢复真实出链。(2) 出题：蒸馏实体图谱 $G_e=f_{\text{ext}}(G_{\text{sub}})$ 只留多跳路径上的实体与关系；生成 $(q_0,\mathcal{P})=f_{\text{gen}}(G_e,y)$，约束 $|\mathcal{P}|\ge N$ 且 $y\notin q_0$；改写为 $\tilde{q}=f_{\text{abs}}(q_0,\mathcal{A})$。(3) 双准则验证：保留 $c_{\text{diff}}\cdot c_{\text{solv}}=1$ 的样本，答案等价由语义匹配裁判判定。(4) 教师轨迹：$M_T$ 按 ReAct 用 {SEARCH, SCRAPE} 解题，观测为即时文档级摘要以控上下文。(5) 粗过滤：须成功且 LLM 裁判判对；滑窗 zlib 压缩比 $\rho_{\text{cr}}(w)\ge\tau_{\text{cr}}$ 判退化循环（辅以周期重复行等检测）；要求 $T_{\text{tool}}\ge K$；全序列去重。(6) 细过滤：先让裁判自由批评样本、归纳高频失败模式为 rubric，再逐轮输出掩码 $m_t\in\{0,1\}$，单轨迹最多遮 10% 助手轮。(7) SFT：损失 $\mathcal{L}_{\text{SFT}}=-\mathbb{E}\sum_t m_t\log\pi_\theta(u_t|C_{<t})$，2 epoch、batch 64、最长 262,144 token。(8) RL：二值奖励 $R=\mathbb{I}[\text{GenRM}=A]$，无格式项；请求级部分回滚，超采样会话从已提交前缀续跑，截断重要性采样修正权重错配，约 2 倍超采样。(9) Climbing：选 $0<\bar{R}(q)\le 1/2$ 且 $T_{\text{tool}}\ge K_{\text{rft}}$ 的成功轨迹中最短的 $\tau_q^\star=\arg\min T_{\text{tool}}(\tau)$ 回流 SFT，难度带随策略提升自动上移。
技术新颖性
新颖性可从四个维度看。数据层面，『把所有非答案实体改写为描述性指代』比常见的只遮蔽答案或沿路径遮蔽更系统，配合双准则验证形成全自动、可规模化的『难而可解』问题工厂，无需任何人工介入；出链还从 RDF 语义镜像与渲染标记两路合并恢复，工程细节扎实。过滤层面，轮级细过滤的 rubric 不是人工手写而是从数据中归纳——先让裁判自由批评样本，再合并高频失败模式——这正面回应了『孤立的浪费搜索可能是合法探索』这一判定难题，并用 10% 掩码上限防止过度过滤。系统层面，请求级部分回滚不同于任务级流式处理：打断的是单个请求而非整个任务，消息状态组成森林、每节点缓存 token、损失掩码、对数概率与权重版本增量，使同步共置调度下 GPU 也能持续满载；裁判与摘要器共置集群内，一次算力分配覆盖训练、回滚与奖励。评估层面，坚持无 CM/有 CM 双轨并固定工具集、上下文、裁判与 turn 预算，直接回应『分数来自策略还是外壳』这一社区痛点，其分析结论本身（CM 最高值 21.2 分、增益跟随上下文耗尽频率而非基准剩余空间）就有独立价值。
实验结果
主结果（Table 1，开 CM）：Iris-mini 达 BrowseComp 82.2、BrowseComp-ZH 84.8、DeepSearchQA F1 86.9、HLE 52.3，30–35B 档四项中三项最佳，BrowseComp 领先同档最强 XYZ-Aquila-mini 3.4 分（78.8），仅 DeepSearchQA 落后其 89.5；Iris-pro 达 88.6/85.1/92.9/56.4，四项全部领先或持平，BrowseComp 领先 XYZ-Aquila-pro 3.8 分、HLE 领先 3.1 分。无 CM 时（Table 2）mini 为 64.7/72.3/81.0/43.2，全面优于 FORT-Searcher（55.9/62.1）、OpenSeeker-v2（46.0/58.1）、REDSearcher（42.1/49.8），pro 再抬至 72.6/76.8/86.4/50.8——优势来自策略本身而非推理外壳。CM 增益强依赖基准与规模：discard-all 使 mini BrowseComp 64.7→82.2（+17.5），叠加 retry 达 85.9（+21.2），pro 为 72.6→88.6（+16.0）→90.3（+17.7）；但 DeepSearchQA 最多 +8.9、HLE +9.2，增益排序跟随『会话耗尽上下文的频率』而非基准剩余空间。mini 增益大于 pro，印证小模型解同样约束需更多步、更常触顶。mini 的 BrowseComp 已逼近 1T 级 Kimi-K2.6（83.2）与 DeepSeek-V4-Pro（83.4）；pro 标准 ReAct 即可匹敌重算力的 MiroThinker-H1（88.2）。另一发现：合成数据与模型迁移到 BFCL、τ-bench、OfficeQA、APEX 均正向，暗示搜索是可复用的原子能力。BrowseComp-ZH 三种配置精确收敛于 85.1（289 题中 246 对），提示剩余空间受基准而非容量约束。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BrowseComp（长尾实体多约束线索检索） | 准确率（pass@1） | Iris-mini 82.2 / Iris-pro 88.6（开 CM，discard-all） | 同档最强 XYZ-Aquila-mini 78.8 / XYZ-Aquila-pro 84.8；自家无 CM 基线 64.7 / 72.6；前沿对照 Kimi-K3 91.2、GPT-5.6 Sol 90.4 | 较同档 SOTA +3.4 / +3.8 分；无 CM→discard-all 增益 +17.5 / +16.0，叠加 retry 最高 85.9 / 90.3 |
| BrowseComp-ZH（中文搜索） | 准确率 | Iris-mini 84.8 / Iris-pro 85.1 | XYZ-Aquila-mini 82.9 / XYZ-Aquila-pro 85.1（r 复现） | mini +1.9 分，pro 持平；三种配置同现 85.1 = 289 题中 246 对，暗示基准趋于饱和 |
| DeepSearchQA（证据召回全面性） | F1 | Iris-mini 86.9 / Iris-pro 92.9 | XYZ-Aquila-mini 89.5 / Nex-N2-Pro 92.3；前沿 Claude Fable 5 为 94.2 | mini −2.6 分（本档唯一落后项）；pro +0.6 分反超 |
| HLE text-only（专家级学术推理） | 准确率 | Iris-mini 52.3 / Iris-pro 56.4 | XYZ-Aquila-mini 51.1 / XYZ-Aquila-pro 53.3；前沿 Claude Fable 5（全量集）64.5、GLM-5.2 54.7 | +1.2 / +3.1 分；无 CM→discard-all 增益 +9.1 / +5.6，CM 在此基准收益最小 |
| BrowseComp 无 CM 横向对比（策略裸能力） | 准确率 | Iris-mini 64.7 / Iris-pro 72.6 | FORT-Searcher 55.9、OpenSeeker-v2 46.0、REDSearcher 42.1（均 30B） | +8.8 至 +30.5 分，证明领先来自训练而非上下文管理外壳 |
局限与改进
作者坦承：与前沿仍有差距——BrowseComp 上 Kimi-K3（91.2）、GPT-5.6 Sol（90.4）、Apodex-1.0-H（90.3）超过 Iris-pro 的 88.6；HLE 上 56.4 明显落后 Claude Fable 5 的 64.5（全量集）；mini 在 DeepSearchQA（86.9）不及 XYZ-Aquila-mini 的 89.5；评估仅覆盖搜索社区基准。我的补充观察：其一，BrowseComp-ZH 三种配置精确收敛到 85.1（246/289），作者自己解读为剩余性能受容量以外因素约束，实际暗示该基准已近饱和、区分度有限；其二，retry 虽把 BrowseComp 推到 90.3，但每次重试都是一次完整搜索，推理成本数倍增加，作者也只当『上界探索』；其三，迁移到 BFCL、τ-bench、OfficeQA、APEX 只有定性描述，正文未给出数字，说服力打折；其四，HLE 只测 text-only 子集，与标 f 的前沿模型全量集分数不完全可比；其五，数据流水线依赖 RDF 结构化语义镜像恢复出链，这种资源并非所有语料具备，制约外部复现。
独立分析的弱点
第一，训练-评估同源风险：合成题来自超链接结构+实体图谱，BrowseComp 类基准恰好也偏『多跳线索拼图』形态，任务契合可能带来分数高估，导航式、时敏、模糊意图等真实搜索场景未验证——改进方向是引入真实查询日志或跨任务形态消融。第二，判官单一性：双准则验证、粗过滤正确性、细过滤 rubric 全依赖 LLM 裁判语义匹配，裁判偏见会系统性传导进数据与 RL 奖励，且奖励为纯二值（无过程分），可加入多裁判一致性或人工抽检校准。第三，CM 分析止步手工策略：只测 discard-all 与 retry，既然 CM 值 17–21 分，把『何时重置、保留什么』训练进策略本身是更大的机会，论文未尝试。第四，请求级部分回滚约 2 倍超采样是纯开销，未与异步方案、任务级流式做系统成本对比。第五，难度带 $0<\bar{R}(q)\le 1/2$ 依赖组内 pass 率估计，每题采样数有限时 $\bar{R}$ 方差大，可能误选样本，选样噪声未量化。第六，三重防泄漏只覆盖 huggingface.co 的数据集/Space 页，基准经其他站点镜像泄漏的可能性未讨论。
未来方向
作者明确提出的方向：把搜索当作『原子能力』而非垂直专精——合成搜索数据与搜索特化模型（作 on-policy 蒸馏教师）已正向迁移到通用工具使用（BFCL、τ-bench）与协作办公（OfficeQA、APEX），因此搜索数据与搜索衍生教师可能应贯穿整个训练过程而非局限在专门特化阶段，其价值以更广的智能体能力衡量；同时计划开源权重及数据、训练、评估管线关键组件。基于成果可延伸的：其一，把难度带枯竭信号与学习率、数据配比联动，做成完整的自步课程控制器；其二，将 CM 决策内化进策略（learned context management），让模型自己学会何时丢弃、摘要或重启，替代手工的 discard-all/retry；其三，用 climbing 框架扩展到代码执行、数据库查询等多工具环境，检验『探索-固化』交替的普适性；其四，针对 HLE 差距（56.4 vs 64.5），探索检索与领域知识的深度融合（自建学科知识索引）而非纯网页搜索；其五，如附录 A 对 BrowseComp-ZH 的审计所示，推动社区解决基准饱和与质量问题；作者也把更广真实搜索场景的评估列为超越基准结果的后续方向。
复现评估
开源情况：论文承诺发布模型权重及数据构造、训练、评估管线的关键组件，GitHub 与 HuggingFace 链接已给出，但细节未全公开——climbing 的进一步细节『将在未来发布』。复现配置：基座为 Qwen3.6-35B-A3B 与 Qwen3.5-397B-A17B（均 MoE、256K 上下文）；SFT 2 epoch、全局 batch 64、最大序列 262,144 token；RL 基于开源 Relax 框架。难点在算力与数据：pro 的 RL 需集群内同时运行 actor、rollout 引擎与多组 FP8 的 397B 裁判/摘要引擎，外加持续真实搜索流量与约 2 倍超采样，远超学术实验室预算；mini 相对可行，但仍需多机多卡与稳定搜索服务。数据侧还依赖带 RDF 三元组语义镜像的语料恢复被渲染剥离的出链，普通 Common Crawl 快照不具备，是最易卡住复现的一环。相较之下评估协议描述完整——固定工具集、上下文上限、turn 预算与官方评测 prompt、pass@1、三重防泄漏——若权重如期开源，评测部分易于复现；训练部分对产业界大模型团队可行，对个人或高校难度很高。
论文图表
