无大纲学习:任务无关的智能体环境预处理 Studying Without a Syllabus: Task-Agnostic Environment Preprocessing
元智能体在不知下游任务时自主预习环境并制备工件,让冻结求解器性能普遍提升
前置知识
LLM 智能体与 Harness($\pi = (m, H)$)
论文把智能体定义为二元组:底层模型 $m$ 和 harness $H$。harness 是调用模型的程序,负责维护上下文、注册和调用工具、驱动模型与环境的交互循环。本文统一使用 Claude Code 作为 harness。理解这个分解很重要,因为本文的所有干预都不改模型权重和 harness,只改环境。
全文的核心设定是“冻结求解器”:$m$ 和 $H$ 都不动,唯一变化的是求解器在沙箱里能看到的资源,所以必须先分清智能体中哪些部分是固定的、哪些是可变的。
任务无关设置
指学习系统在改造环境时拿不到任何来自下游任务分布的信息:没有真实任务实例、没有轨迹、没有标签、没有验证器输出或评估反馈。它只能与环境本身交互(可以合成练习),相当于学生开学前没有大纲、只拿到教材和工具箱。
这是论文标题的由来,也是它与 DSPy、GEPA 等需要任务样例和反馈的方法的根本分界线,判断一个基线是否可比全看是否满足这个约束。
Avg@K 与 Best@K 指标
设 $r_{s,t,j}$ 是用第 $s$ 套工件在第 $t$ 个任务上第 $j$ 次 rollout 的奖励,$\mathrm{Avg@}K=\frac{1}{N_{\text{study}}K}\sum_{s}\mathbb{E}_{t}\sum_{j=1}^{K}r_{s,t,j}$ 是平均分,$\mathrm{Best@}K=\frac{1}{N_{\text{study}}}\sum_{s}\mathbb{E}_{t}\max_{1\le j\le K}r_{s,t,j}$ 是取最好成绩。Best@K 消耗同样的 rollout 但需要 oracle 选择。
论文的两组主表分别报告 Avg@3 和 Best@3,测试时计算缩放的分析也建立在 Best@K 曲线上,不懂这两个指标就无法读懂实验结论。
预习预算与成本计量($B_{\text{study}}$、$C_{\text{study}}$)
预习过程的 API 花费记为 $C_{\text{study}}(S,E)$,不能超过预算 $B_{\text{study}}$。主实验不设统一预算让各方法满配运行;预算缩放实验则取 $B_{\text{study}}\in\{1,5,10,25,50\}$ 美元。学习成本与下游推理成本分开计量,用美元做统一货币。
预算缩放(RQ3)和测试时计算缩放(RQ4)是本文两个关键发现——“预算加大多数无益、预习能省测试时采样”的数据基础。
Harbor 框架与沙箱环境 $E$
环境是实现为隔离 Docker 沙箱的共享运行时,兼容 Harbor 框架,内含文件系统、语料和基准自带工具。工件以文件形式写进沙箱可见的卷,测试时挂载给求解器,原环境工件保持原样以保证完整性。
本文的六种基准(语料型、工具型、混合型)都跑在统一沙箱抽象上,理解沙箱—卷—挂载机制才能理解工件如何“交付”给求解器。
研究动机
现有自动化适配方法几乎都依赖任务监督信号:提示优化器 DSPy 和 GEPA 需要任务样例与评估反馈,VeRO 和 Meta-Harness 用类似信号改写整个 harness,AWM、ACE、Dynamic Cheatsheet 等记忆系统从任务轨迹中蒸馏可复用知识。当智能体首次进入一个陌生环境、代表性任务本身获取成本很高时,这些方法都会冷启动。而已有的任务无关方案则提前锁死了加工策略:RAPTOR、GraphRAG、CORPUS2SKILL 假定“把语料做成可查询结构”最有用,PREPING 假定“合成练习并蒸馏成程序性手册”最有用,Machine Studying 则把输入固定为语料。用一个具体场景说明问题的真实性:智能体在一个文件无名且混乱的大文件系统上做检索时,得不到任何内容线索,只能付出高昂代价暴力搜索——该做什么准备完全取决于环境里有什么,但没有方法会根据环境自主选择策略。
本文的目标是本文要形式化并验证“任务无关环境预处理”:学习系统 $S$ 在完全看不到下游任务分布 $\mathcal{D}_E$ 的前提下,在预算约束 $C_{\text{study}}(S,E)\le B_{\text{study}}$ 内探索环境并产出可复用工件(索引、知识库、脚本、可执行工具、指导手册等),供一个冻结求解器使用,目标是最大化 $S^\star=\arg\max_{S}\ \mathbb{E}_{E\sim p}\big[R_{\pi_{\text{solver}}}(S(\pi_{\text{solver}},E),\mathcal{D}_E)\big]$。具体目标有三:给出统一的形式化协议;构建开放式学习的 META-AGENT(无档案与有档案两个变体),让智能体自己决定怎么预习、造什么;在 6 个基准共 36 个环境上与固定策略 PREPING、CORPUS2SKILL 以及 NO STUDY 公平对比,并分析预算缩放与测试时计算缩放。
与已有工作不同的是,本文的独特切入角度是把“如何预习环境”本身变成一个开放决策,交给一个智能体在运行时根据环境内容自行确定学习流程和工件类型,而不是像所有先行工作那样预先承诺某种加工流水线。为使比较公平,作者设计了统一协议:同一冻结求解器(Claude Code + Haiku 4.5)、同一 harness、同一沙箱抽象,成本统一用美元计量并把预习成本与推理成本分开。另一个新颖设计是“档案”机制:把 PREPING 和 CORPUS2SKILL 封装成可执行技能,连同一条通用探索流程一起挂载给有档案版 META-AGENT,使其可以按需调用、组合或无视这些竞争性方法,从而在同一系统内检验“策略选择”的价值。
核心方法
基本设定:智能体 $\pi=(m,H)$ 由模型与 harness 组成,环境 $E$ 是兼容 Harbor 框架的 Docker 沙箱,任务 $t=(x_t,r_t)$ 含提示与奖励函数,聚合奖励 $R_{\pi_{\text{solver}}}(E',\mathcal{D}_E)=\mathbb{E}_{t\sim\mathcal{D}_E}[r_t(\pi_{\text{solver}}(x_t,E'))]$,$E'$ 可为原环境或预习后的 $E_{\text{studied}}$。直觉像学生开学前预习:没有大纲,只能翻教材、清点工具、做笔记,把功夫花在考试前。技术路线上,预习系统 $S:\Pi\times\mathcal{E}\to\mathcal{E}$ 用冻结求解器和原环境产出 $E_{\text{studied}}$(原工件保留、新工件追加),可以是 CORPUS2SKILL 式流水线、PREPING 式固定编排,或本文的开放式 META-AGENT。验证覆盖 6 个基准:BCP-G(830 题、100195 篇文档)、OfficeQA、Harvey LAB(250 任务)、DABStep(7 文件)、APEX-Agents(452 任务、31 世界)、AppWorld。
核心创新是“开放式学习”:META-AGENT 是单个预习智能体 $\pi_{\text{study}}$,自主探索环境并决定构造任何它认为对求解器有用的文件工件,策略和工件类型都不预先固定。它与固定方法的本质区别在于把“选策略”这个元决策放进智能体上下文:无档案版必须盲选;有档案版额外获得一个种子档案,内含 PREPING、CORPUS2SKILL 的可执行实现和一条通用探索流程,以 shell 可访问的技能形式挂载进沙箱,智能体可以调用、组合或忽略其输出。这把先前互相竞争的几条技术路线变成了同一系统内可供调度的选项,使“环境—策略匹配”成为可以被观察和评估的行为。另一个关键约束是任务无关性:$S$ 拿不到任何真实任务实例、轨迹、标签或评估反馈,只能靠与环境交互(含合成练习)来决策。
方法步骤详情
流程分四步。第一步预习:$\pi_{\text{study}}$(Opus 4.8 + Claude Code)在沙箱内清点文件、试探基准工具、追踪不可用资源,合成索引、知识库、脚本、指导手册等文件工件,花费不超过 $B_{\text{study}}$。第二步:每环境独立预习 $N_{\text{study}}=3$ 次得 3 套工件(APEX 的 31 个世界各自独立)。第三步测试:工件挂载进冻结求解器(Claude Code + Haiku 4.5,温度 1.0)沙箱,留出任务上重复 $N_{\text{eval}}=3$ 次,按 $K=3$ 算 $\mathrm{Avg@}K=\frac{1}{N_{\text{study}}K}\sum_s\mathbb{E}_t\sum_j r_{s,t,j}$ 与 $\mathrm{Best@}K=\frac{1}{N_{\text{study}}}\sum_s\mathbb{E}_t\max_j r_{s,t,j}$;NO STUDY 跑 10 次取全部 $\binom{10}{3}=120$ 个子集估计。第四步基线:PREPING 跑 5 轮×10 合成任务(原为 10 轮),检索用 text-embedding-3-small;CORPUS2SKILL 用默认配置(Qwen3-Embedding-8B、摘要用 Sonnet 4.6)。Harvey LAB 改用 rubric 细则通过率计分。
技术新颖性
技术新颖性体现在四点。其一,形式化贡献:首次把任务无关预处理定义为“环境条件化的策略选择问题”,给出 $S:\Pi\times\mathcal{E}\to\mathcal{E}$ 的统一抽象和美元预算约束,使 PREPING、CORPUS2SKILL、Machine Studying 等异构方法第一次能放在同一协议下比较。其二,档案即上下文技能库:把竞争性工作流封装成可执行技能供元智能体按环境组合,可解释性分析证明组合确实随环境变化(BCP-G、OfficeQA、DABStep 的每套工件都含开放式学习与 PREPING 产物,AppWorld 全部含 CORPUS2SKILL),这是对“策略选择是否发生”的直接证据。其三,成本建模:分别计量 $C_{\text{study}}$ 与推理成本,首次量化“预习换测试时采样”的摊销效应(一次预习 rollout 可抵 NO STUDY 在 oracle 选择下 2-8 次 rollout)。其四,负结果也有信息量:预算从 1 美元加到 50 美元通常无收益,说明当前模型缺乏预算感知与规划能力。
实验结果
RQ1:Avg@3 上 META-AGENT 变体在 6 个基准中的 5 个最高,仅 BCP-G 输给 CORPUS2SKILL(0.471 对 0.286)。有档案版在 Harvey LAB 0.366、DABStep 0.529、APEX 0.233 第一,且在全部基准超过 NO STUDY(0.197/0.549/0.260/0.353/0.183/0.576);无档案版拿下 OfficeQA 0.633 与 AppWorld 0.688。24 个组合中 21 个正收益;PREPING 从不第一但全部正向;CORPUS2SKILL 专精 BCP-G 却在 OfficeQA、Harvey LAB、DABStep 跌破 NO STUDY。RQ2:档案在 4 个基准平均 +0.046(DABStep 最大 +0.129),2 个基准平均 -0.021。RQ3:预算 $1 到 $50 曲线平坦或非单调,唯一例外 Harvey LAB——无档案版 0.271→0.348,有档案版 0.249→0.332。RQ4:要超过最强预习后 Best@1,NO STUDY 需 oracle 选择下 2-8 次 rollout(BCP-G 8 次、DABStep 5 次、AppWorld 4 次、Harvey 3 次、OfficeQA/APEX 2 次),推理成本 1.6-5.5 倍。可解释性:Harvey LAB 上元智能体发现唯一工具 labread 得 0.35-0.38,未调用者仅 0.22-0.31;DABStep 困难任务 +0.185、简单任务仅 +0.015;BCP-G 上 CORPUS2SKILL 提升随金标文档数从 0.224(1 篇)升至 0.293(4 篇以上);APEX 案例中不完整工件把求解器引离了必需输入文件。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BCP-G:830 个检索式问答任务,100195 篇文档以文件形式暴露给 shell 搜索 | Avg@3 下游奖励 | 最佳为 CORPUS2SKILL 0.471±0.015;本文主方法 META-AGENT W/ ARCHIVE 为 0.286±0.021 | NO STUDY 0.197±0.007 | CORPUS2SKILL 相对 NO STUDY +0.274;META-AGENT 未在此基准胜出,暴露策略选择失误 |
| OfficeQA:文档集合问答 | Avg@3 下游奖励 | META-AGENT W/O ARCHIVE 0.633±0.014(全场最佳) | NO STUDY 0.549±0.017 | +0.084 |
| Harvey LAB:250 个律所知识任务(dense verifier 通过率计分) | Avg@3 密集细则通过率 | META-AGENT W/ ARCHIVE 0.366±0.012(全场最佳) | NO STUDY 0.260±0.007 | +0.106;同时是唯一呈现预习预算正向缩放的基准(0.249→0.332) |
| DABStep:7 个数据文件上的数据分析任务 | Avg@3 下游奖励 | META-AGENT W/ ARCHIVE 0.529±0.097(全场最佳) | NO STUDY 0.353±0.008 | +0.176;困难任务层提升 0.185、简单任务层仅 0.015 |
| APEX-Agents:452 任务分 31 个独立世界(投行/法律/咨询),聚合 31 个环境的预习结果 | Avg@3 下游奖励 | META-AGENT W/ ARCHIVE 0.233±0.011(全场最佳) | NO STUDY 0.183±0.004 | +0.050;最大领域增益出现在法律世界 |
| AppWorld:多应用工具接口环境 | Avg@3 下游奖励 | META-AGENT W/O ARCHIVE 0.688±0.057(全场最佳) | NO STUDY 0.576±0.013 | +0.112;所有方法在双应用任务上获益最大 |
局限与改进
作者承认的局限有五条:预习者与求解器同属 Claude 家族且共用 Claude Code harness,无法证明工件能跨求解器迁移或与求解器无关;只评估了一个工作流档案,且没有与“根据环境描述从同一档案中选一个固定流程”的非智能体分类器对比,因此无法定位智能体决策与工作流组合本身的价值;档案中各条目的独立贡献无法拆分;6 个基准覆盖不了环境变化的所有维度;美元成本是依赖供应商的代理指标,并非 FLOPs。我自己的观察补充三点:报告的标准差来自仅 3 次学习迭代,DABStep 上有档案版 ±0.097 的波动表明部分排名可能不稳;预算缩放实验只覆盖 OfficeQA、Harvey LAB、APEX 三个基准,结论外推有限;工件何时会误导求解器只有定性案例(DABStep 正例对 APEX 反例),缺少可预测何时有害的判据或前置验证机制。
独立分析的弱点
第一,策略选择不可靠:BCP-G 上有档案的 META-AGENT 明明可以调用 CORPUS2SKILL 却没有用,而后者恰是该基准最强的独立方法(0.471 对元智能体最好成绩 0.286),说明档案可用不等于会选。改进方向:在档案条目中附环境—策略匹配的先验说明或成功示范,或先用轻量环境分类器把候选缩减到一两个再交给元智能体。第二,预算无感知:预算写在提示里,但 1 美元到 50 美元大多只是延长同样策略而非改变策略。改进:给智能体显式的花费记账工具和分阶段规划机制,把预算作为一等约束进入决策。第三,工件可能主动误导:APEX Agents 的案例中,不完整工件把求解器引向通用定价文档、远离两个含必需输入的文件。改进:工件附带来源、置信度与覆盖范围声明,并在合成任务上先行验证工件有效性后再交付。第四,统计强度薄弱:$N_{\text{study}}=3$ 的样本标准差偏大(DABStep ±0.097),应增加预习迭代数并补充任务级 bootstrap 置信区间,再下强弱结论。
未来方向
作者提出的方向:跨部署积累下游评估反馈,用于更新 META-AGENT 的策略选择策略(通过权重或 harness),把多环境经验变成元学习意义上的专长;扩大工作流档案;用成功的环境—策略匹配示范改进上下文选择。基于本文成果可以延伸的方向:其一,工件质量的前置验证器——在交付前用环境自合成的探针任务检验工件是否真的降低求解器难度,过滤误导性工件;其二,跨求解器迁移研究——用 A 家族模型预习、B 家族模型求解,检验工件的模型无关性,这是作者明说做不到的;其三,工件生命周期管理——过期检测、增量更新与撤销机制,应对环境随时间漂移;其四,把“预习摊销”形式化为计算迁移理论:给定任务量 $n$、预习成本 $C_{\text{study}}$ 和每次 rollout 成本,刻画何时预习严格优于重复测试时采样,为部署者提供解析式的成本决策公式;其五,预算感知训练——用预算条件化的强化学习让预习策略随 $B_{\text{study}}$ 定性改变而非简单延长。
复现评估
论文给出代码入口 github.com/scaleapi/meta-study2026,六个基准全部公开(BrowseComp-Plus、OfficeQA、Harvey LAB、DABStep、APEX-Agents、AppWorld),协议描述完整:模型分工明确(Opus 4.8 做预习与 PREPING 提议/验证/反思/策展,Haiku 4.5 执行合成与下游任务,Sonnet 4.6 做 CORPUS2SKILL 聚类摘要),嵌入模型保留原作设置(Qwen3-Embedding-8B 与 text-embedding-3-small),统计口径($N_{\text{study}}=3$、$N_{\text{eval}}=3$、NO STUDY 的 120 子集估计)写清。难点:依赖三个闭源 Claude 模型与 Harbor 沙箱设施;完整复现约等于 36 环境 × 4 方法 × 3 次预习 × 3 次评估,API 花费不菲(预习预算最高每环境 50 美元,APEX 31 个世界成本叠加);代表提示词在附录 A.3.2 未随正文给出。总体:复现难度中等偏上,协议可信但预算敏感。
论文图表
用两个可观测维度刻画六个基准的环境广度:暴露给求解器的文件数量和基准自带工具数量。从 7 个文件的 DABStep、697 个文件的 OfficeQA,到 100195 篇文档的 BCP-G,以及带 31 个独立世界工具面的 APEX Agents 和多应用接口的 AppWorld,环境在语料规模与工具面上差异极大。
它说明为什么“预选一种固定策略”注定片面:环境差异如此之大,最优预习方式必然是环境内容的函数,这正是引出开放式 META-AGENT 的动机图。