Web2BigTable：面向互联网规模信息搜索与抽取的双层多智能体大模型系统 Web2BigTable: A Bi-Level Multi-Agent LLM System for Internet-Scale Information Search and Extraction
双层多智能体框架，闭合式自演化技能库，专攻大规模结构化网页抽取
前置知识
Web-to-Table 搜索任务
给定自然语言查询与目标 schema，让智能体在开放网页上自主检索并输出结构化表格：每一行是一个独立实体，每一列是请求的属性，每个单元格都必须有网页证据支撑，区别于问答任务强调广覆盖与跨实体一致性。
这是全文的任务定义，WideSearch 评测和 Item-F1 训练目标 $U(X) = \text{Item-F1}(X, X_{\text{gold}})$ 都建立在该定义之上。
ReAct 与工具调用循环
智能体在每步 $t$ 按策略 $\pi(\cdot | q, h_t)$ 选择动作：调用搜索/读取工具得到观测 $o_{t+1}$ 追加到历史，或直接产出最终响应终止轨迹，Web2BigTable 的每个 worker 就是一个独立 ReAct 循环实例。
理解 worker 执行循环才能看懂 inference 算法 2 的异步并行与 workboard 写入机制。
多智能体共享记忆与异步协同
多个智能体通过共享状态（如 markdown 黑板）交换中间发现以避免重复检索、调和冲突、识别覆盖缺口。本文用文件锁加 tag 分区让写入非破坏性而全局可读，区别于传统消息总线。
这是 workboard $m_e$ 的核心设计，所有自适应行为（冗余避免、gap 检测、策略同化）都依赖读写非对称结构。
自演化与外部记忆
在不微调底层 LLM 的前提下，通过 Run–Verify–Reflect 闭环把成功/失败经验蒸馏成 SKILL.md 文本，沉淀为长期语义记忆。技能以纯文本方式被 in-context 学习，可单调追加、人类可读。
这是双层自演化机制的理论基础，解释为何 $S_o, S_w$ 在不更新参数的情况下能持续改进。
WideSearch 与 XBench-DeepSearch 基准
WideSearch 含 200 条中英任务、覆盖 15 个领域，要求广覆盖结构化抽取；XBench-DeepSearch 强调多跳推理与跨源验证。两个基准互补覆盖深度与广度两种 web agent regime。
同时验证 Web2BigTable 在广度和深度两种场景下的通用性，是论文双 benchmark 选择的依据。
Model Context Protocol 与 asyncio 并发
MCP 服务器管理 worker 池，用 asyncio.gather 并发派发子任务，信号量限制最大并发数（WideSearch 最多 10 个 worker）。每个 worker 是独立 Memento-Skills 智能体实例。
理解工程实现层才知道为何 workers 能真正并行执行而非顺序串行。
研究动机
现有智能体网页搜索在两种典型场景上同时失灵：deep search 要求跨多源多跳推理锁定单一目标（如 XBench-DeepSearch），wide search 要求数百行结构化表格逐行正确且跨实体一致（如 WideSearch 列出 Taylor Swift 2010–2025 全部 534 行巡演）。论文给出有力实证：GPT-5 High 单 agent 在 WideSearch 上 Item F1 仅 62.20，o3-high 多智能体 57.30，Claude Sonnet 4 (Thinking) 多智能体 62.20，所有强模型 Success Rate ≤ 5.10。根因有三条：(1) 单 agent 上下文窗口饱和，几百行的检索与状态跟踪挤在同一上下文里；(2) 错误复合传播，前一步失败污染后续推理；(3) 静态分解策略在开始就锁定计划，无法根据后续发现自适应调整——在 WideSearch 上表现为系统性覆盖缺口，在 XBench-DeepSearch 上表现为推理链断裂。
本文的目标是本文目标是设计一个统一框架同时胜任广度（宽搜索、跨实体聚合）和深度（多跳推理、单目标定位）两种 regime。具体而言，要在 WideSearch 上把 Avg@4 Success Rate 从最强基线 5.10 提升到 38.50（7.5×）、Row F1 从 38.50 提升到 63.53（+25.03）、Item F1 从 65.70 提升到 80.12（+14.42）；在 XBench-DeepSearch 上达到 73.0 准确率，超过 Minimax-M2 与 MiroFlow (GPT-5) 等所有商用深度研究系统。论文明确强调所有改进必须来自框架设计而非更强大的底层模型——事实上 Web2BigTable 用的是 GPT-5 mini 加 Gemini 3 Flash 两个轻量模型。
与已有工作不同的是，本文的独特切入角度是把单 agent 策略 $\pi(\cdot | q, h_t)$ 显式分解为 orchestrator policy $\pi_o$ 加 worker policies $\{\pi_w^{(i)}\}$ 的双层结构，并通过长期语义记忆（技能库 $S_o, S_w$）加短期工作记忆（workboard $m_e$）的两级记忆机制，让两组策略分别在不微调 LLM 的前提下通过 Run–Verify–Reflect 闭环自我演化。已有工作要么只做单层记忆（如 SAMULE、EvolveR、SAGE），要么固定分解策略依赖梯度更新，要么用消息传递式通信增加调度开销。本文第一次同时做到'双层自适应分解 + 异步读写非对称协同 + 训练免参数更新'三件并存。
核心方法
Web2BigTable 整体思路可概括为：上层编排者把广覆盖任务拆成可并行的子任务，下层工人通过共享黑板协作执行，决策经验和执行经验以纯文本技能形式沉淀到两个长期技能库并在推理时被只读消费。具体地，给定自然语言查询 $q$ 和目标 schema，编排器（GPT-5 mini）先用 task-router 技能识别查询结构类型（按实体分、按时间分、按属性分等），再调用对应分解技能把 $q$ 切成 $N$ 个互不相交的子任务 $\tau = (\tau_1, \dots, \tau_N)$，每个子任务限定 10–20 行体量以适配 worker 上下文。多个 worker（Gemini 3 Flash，最多 10 个并行）通过 asyncio.gather 异步派发，每个 worker 在 ReAct 循环里读 workboard $m_e$、调用检索/读取工具、向自己 tag 分区写入结果；workboard 是 markdown 文件，三段结构分别是子任务清单、worker 结果槽、共享上下文。
核心创新是把单 agent 策略显式拆成 $\pi_o$ 与 $\{\pi_w^{(i)}\}$ 的双层结构，对应两个长期技能库 $S_o$（分解策略）与 $S_w$（执行技能），通过 Run–Verify–Reflect 闭环把每次训练 episode 的成败蒸馏成 SKILL.md 文件单调追加。与已有方法的本质区别有三条：(1) 双层同时演化——SAMULE/EvolveR/SAGE 只演化单层（要么任务层要么技能层），本文 orchestrator 演化宏观分解策略、worker 演化微观执行技能；(2) 训练完全免参数——通过 in-context 技能消费实现'伪学习'，底层 LLM 始终冻结；(3) 通信是读写非对称的共享状态而非消息总线——所有 worker 可读全局、部分写入，天然支持异速 worker 的级联式信息共享。
方法步骤详情
训练算法 1 每步：(1) 用当前 $S_o, S_w$ 在 $q_k$ 上跑 inference 得 $X_k$；(2) 计算 Item-F1 $U(X_k) = \text{Item-F1}(X_k, X^{\text{gold}}_k)$ 作为 cell 级训练目标；(3) 压缩 worker 轨迹聚类生成错误报告 $E_k$；(4) 反思 LLM 按 split-by-entity 等结构模式生成 orchestrator SKILL.md 与 worker 技能；(5) 单调追加更新 $S_{k+1}_o = M_o(S^o_k, r^o_{k+1})$ 与 $S_{k+1}_w$。推理算法 2 冻结 $S^*_o, S^*_w$：(1) 编排器切片 $\tau$ 初始化 workboard；(2) 并行 dispatch worker，按 BM25+ChromaDB 检索 $s_i$、生成 $x^i_{t+1} \sim \pi^{(i)}_w(\cdot | \tau_i, m^e_t, s_i)$、锁定 tag 槽写入；(3) 汇聚器校验后输出 $X$。
技术新颖性
技术新颖性体现在四个层面。第一，把单 agent 策略形式化为两层因式分解 $\tau \sim \pi_o(\cdot | q, S_o), x_i \sim \pi^{(i)}_w(\cdot | \tau_i, m_e, s_i)$，并配套两种时间尺度的记忆：长期技能库（小时-天级演化）加短期 workboard（分钟级刷新）。第二，workboard 是带文件锁的 markdown 文档：所有 worker 全局可读、写入严格限定在自己 tag 槽，让写操作非破坏但读操作全局可见，涌现出冗余避免、覆盖缺口检测、策略同化三种自适应行为。第三，SkillResolver 用三段式优先级检索（精确名 → BM25+ChromaDB RRF → 跨编码器重排）配合 SkillCreator on-demand 合成新技能，新增技能自动索引供所有 worker 即时可见。第四，训练阶段用结构化分解模式聚类（而非语义主题聚类）来泛化分解技能，仅用结构性占位符防止过拟合。
实验结果
WideSearch 主结果（表 3）显示 Web2BigTable 用 GPT-5 mini + Gemini 3 Flash 取得 Avg@4 SR 38.50（第二 5.10 的 7.5×）、Row F1 63.53（比 Claude Sonnet 4 多智能体 38.50 高 +25.03）、Item F1 80.12（比 Claude-4.5-Sonnet 单 agent 65.70 高 +14.42）。XBench-DeepSearch（表 4）取得 73.0 准确率，超 Minimax-M2 (72.0)、Kimi-Researcher (69.0)、Claude-4.5-Sonnet (66.0)。消融表 1：去 orchestrator skills 后 SR 暴跌到 7.00、XBench 41.0；去 workboard 后 SR 27.50、XBench 60.0；去 worker skill evolution 后 SR 33.00、XBench 64.0。表 2：同模型作单 agent 仅 Item F1 33.28 与 31.61，框架内跃至 80.12。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WideSearch 广覆盖结构化抽取 | Success Rate (Avg@4) | 38.50 | 5.10 (o3-high 多智能体) | ×7.5 / +33.40 |
| WideSearch 广覆盖结构化抽取 | Row F1 (Avg@4) | 63.53 | 38.50 (Claude Sonnet 4 Thinking 多智能体) | +25.03 |
| WideSearch 广覆盖结构化抽取 | Item F1 (Avg@4) | 80.12 | 65.70 (Claude-4.5-Sonnet 单 agent) | +14.42 |
| XBench-DeepSearch 多跳深度搜索 | Accuracy | 73.0 | 72.0 (Minimax-M2 / MiroFlow GPT-5) | +1.0 绝对第一 |
| WideSearch 框架 vs 单 agent (GPT-5 mini) | Item F1 (Avg@4) | 80.12 | 33.28 (同模型单 agent) | +46.84 |
| XBench-DeepSearch 框架 vs 单 agent (Gemini 3 Flash) | Accuracy | 73.0 | 28.0 (同模型单 agent) | +45.0 |
局限与改进
作者承认与读者可观察到的局限有四点。第一，'框架 vs 模型能力'的论断虽由表 2 支持，但表 2 仅比较同一模型单 agent 与框架版本，没有用最强模型做对照实验，因此'Web2BigTable 严格强于所有更强模型'的结论需要更多反例验证。第二，XBench-DeepSearch 对照组里 OpenRouter 重跑版本（如 Minimax-M2 OpenRouter 64.0）比官方数字 72.0 低 8 分，作者承认 XBench 没公开推理配置（context window、temperature、解码参数），6–8 分差距可能源于此而非模型本身——这削弱了 73.0 vs 72.0 结论的稳健性。第三，训练只用了 20 条合成扰动查询，泛化性值得怀疑；若真实查询偏离训练 query 的结构分解模式，task-router 可能选错技能。第四，工程开销很大：MCP 管理最多 10 个并发 worker、SKILL.md 单调追加无限增长、8000+ 云技能检索每次推理都要跑 BM25 + ChromaDB 嵌入，单次查询 token 与延迟成本不可忽视。
独立分析的弱点
独立分析可改进的弱点：(1) 编排器-工人接口过于刚性——worker 必须按固定模板向自己 tag 槽写入结果，但很多失败模式（搜索词失效、网页打不开、模型幻觉值）需要中途重构任务而非简单续写，框架目前没有'回滚整个子任务'机制，可加 worker→orchestrator 上行通道让 worker 主动报告不可恢复失败、由编排器重派任务。(2) 技能检索是查询时静态匹配，没有按 worker 当前 context 动态剪枝——8000+ 云技能全量候选会导致 SkillResolver 在长查询中变慢，应引入 per-episode 在线剪枝。(3) workboard 缺乏版本控制与冲突解决——schema 演化时旧 tag 槽会污染新结果，需要 schema-aware diff/merge。(4) 训练只更新技能库不更新参数，20 条训练查询的反射信号很稀疏——可引入人类反馈或对比学习让技能质量更稳健。(5) WideSearch 含 100 中文，但论文主要分析英文 ws_en_006。(6) 时间预算隐性放大：deep search 仅需 5 worker 时存在浪费。
未来方向
作者提出的未来方向：(1) 把 bi-level 自演化扩展到 deep research 完整链路，用同样的'orchestrator skill + worker skill'范式替代 MiroFlow、Kimi-Researcher 的固定 pipeline；(2) 把 SKILL.md 沉淀为可跨任务迁移的开放技能市场，类似 HuggingFace Spaces；(3) 引入 verifier-aware decoding，在 worker 生成时同步对每个 cell 做事实校验。基于成果可延伸的方向：(a) 把 workboard 思路推广到代码生成多智能体；(b) 用 Web2BigTable 的 Item-F1 $U(X)$ 作为自我对弈奖励训练 RL agent；(c) 借鉴 SRDP 收敛保证从理论上证明 $S_o, S_w$ 的全局效用上界；(d) 将 task-router 升级为可学习 soft router；(e) 在跨模态场景复用 web-to-table 范式。
复现评估
代码已在 GitHub 开源（https://github.com/web2bigtable/web2bigtable），但完整复现门槛较高。第一，依赖外部商用 API：编排器 GPT-5 mini（OpenAI）、worker Gemini 3 Flash（Google），缺开源替代品；8000+ 云技能依赖特定 catalog 无公开镜像。单次 WideSearch 200 任务 × 4 次 = 800 次 inference，加训练反思预计 token 消耗数十亿美元。第二，依赖 ChromaDB + BAAI/bge-m3 嵌入、cross-encoder reranker、asyncio.gather 并发调度，需较强工程能力。第三，超参数敏感：worker 池 WideSearch=10 vs XBench=5、生成超时 120s、工具超时 30s，论文只给配置无消融。第四，XBench 不公开官方推理配置，作者用 OpenRouter 重跑承认有 6–8 分差异，无法精确复现 73.0 数字。开源代码可验证方法论，但精确复现领先分数需要相当可观的算力预算与 API 配额。
论文图表
XBench-DeepSearch 准确率横向条形图。Web2BigTable 73.0 第一，Minimax-M2 72.0 第二，Kimi-Researcher 69.0、Claude-4.5 66.0、DeepMiner 62.0、Gemini-2.5 56.0、WebShaper 54.6、OAgents 54.5、WebSailor 53.3、WebDancer 40.0。
XBench-DeepSearch 结果的视觉对比——让读者快速看到 Web2BigTable 在深度搜索场景同样领先，且与第二名差距虽小但稳定。
case study 全流程图，含 6 个子图：(1) 用户查询要求列出 2010–2025 全部 Taylor Swift 巡演；(2) 基线按时间段分解，Worker 4 跨 5 年、Eras Tour 130+ 日期压垮，234/534 行；(3) 学习到的 split-by-entity SKILL.md 全文，含结构性规则（按实体切分而非时间，大实体按区域再分，加 gap 检测 worker，缺 >10% 触发 Round 2）；(4) Web2BigTable 实际按 6 个巡演 + gap + Round 2 的分解，最终 556 行 Row F1 93.8%；(5) 6 个巡演的行数分布表（Red Tour 142、Eras Tour 118 等）；(6) GPT-5 mini / Gemini 3 Flash 单 agent、Web2BigTable w/o skills、Web2BigTable full 的 Row F1 / Item F1 / 行数对比表，full 比最佳单 agent Row F1 高 +78.6、Item F1 高 +24.9、行数多 +475。
这是整篇论文的'杀手级案例'——它把抽象的'learned orchestrator skill'具象化成一段 SKILL.md 文本，并量化了从 12.8% Row F1 到 93.8% 的飞跃，让读者相信 bi-level 自演化不是 PPT 工程而是真有效。