Δτ-Bench：推动智能体逼近移动能力前沿的演化工具生态基准 Δτ-Bench: Pushing Agents Toward a Moving Capability
可执行基准模拟工具生态持续演化，检验智能体能否追踪移动的能力前沿，并提出生态管理器 STEWARD。
前置知识
MCP（Model Context Protocol）
MCP 是连接 LLM 与外部工具/服务的开放协议：每个服务以 server 形式暴露一组带名称、自然语言描述与 JSON Schema 参数定义的可调用函数；智能体发起调用后，服务端校验参数、执行副作用并按声明格式返回结果或错误。它让'工具目录'成为可版本化、可执行的对象，而不是一段静态文档。
Δτ-Bench 的整个环境就用有状态 MCP 服务实现：函数接口、操作策略、数据库状态以及演化后的替代实现都落地为可执行 server，任务成败也靠 replay 这些服务产生的数据库差量来判定。不懂 MCP 就无法理解'可执行基准'与'能力保持变换自动验证'的具体含义。
有状态可执行评测 vs 静态评测
静态评测只比对模型输出文本；有状态评测则维护一个随交互改变的持久环境（此处是模拟数据库）：任务从初始状态 $s^{E}_0$ 出发，智能体多轮调用工具并追问用户，最终用状态差量 $\Delta(s^{E}_0, s^{E}_T)$（记录的增、删、改集合）判定结果。τ-bench 系列开创了这一范式，成功要求产生正确的状态变化并满足用户约束。
本文的成功判据 $S^{(v)}_i = \mathbb{I}[\Delta^{\text{gold}}_i \subseteq \Delta^{(v)}_i]$ 完全建立在状态差量之上，SPE/IDR/DAR 也都以可执行轨迹的代价为分母。不理解有状态执行，就无法理解为何'让工具演化却不牺牲可评测性'是本文最核心的工程贡献。
工具检索与精确率/召回率
当工具库很大时，智能体通常只看到检索出的子集 $\hat{A}$ 而非全部目录。检索质量用任务级 P/R/F1 衡量：P 是所选工具中真正需要者的占比，R 是参考路径所需工具被覆盖的比例。本文的关键现象是召回很高而精度很低：模型倾向'宁多勿漏'，把大量无关或已退役的工具一并塞进上下文。
工具检索是本文诊断出的第一瓶颈：Oracle Tools 实验表明，只给相关且当前版本可用的工具就能大幅抬升效率；STEWARD 的'能力供给'本质上是把检索升级为带技能指导、可按需补充的动态过程。读懂 P/R/F1 才能读懂 Table 1 与供给消融。
技能库与无参数更新的技能学习
技能指把成功轨迹蒸馏出的可复用流程知识（自然语言指令、工作流或可组合例程），存入库中供后续任务检索并注入上下文，模型参数保持不变。近期工作（EvoSkill、AutoSkill、Trace2Skill、SkillOpt 等）自动化了技能的生成与优化，但大多假设工具环境稳定——技能'进化'发生在不动的工作底座之上。
本文的核心实证结论正是：技能方法在 v1 有初始增益，却追不上移动前沿（部分版本退化适应率归零、维护开销 2–3 倍）。STEWARD 是对技能库的重新设计——三级层次加工具依赖追踪。理解技能学习范式，才能理解这一对照的分量。
动态规划与序列覆盖
序列覆盖问题：把任务的基函数序列 $(f_1,\ldots,f_n)$ 切成连续块 $P_1 \oplus \cdots \oplus P_m$，每块从当前版本可用实现 $\Phi^{(v)}(P_j)$ 中选一个，使总代价 $\sum_j c^{(v)}(R_j)$ 最小。由于具有最优子结构（前缀的最优切分可扩展为整体最优），可用动态规划在多项式时间内求解，得到步数最少或成本最低的路径。
Δτ-Bench 的评测锚点——每个任务在每个版本的参考路径——就是用这个 DP 自动搜索并经 MCP replay 验证的。它是 SPE/IDR/DAR 三个指标的分母与基准线；没有它，'最优效率'在大规模演化生态上既算不出来也验不了。
研究动机
现有评测把智能体工具使用的各个环节割裂在不同基准里：工具检索基准只在大规模工具库中测召回，有状态多轮基准里服务结构完全固定，效率类基准保持工具与成本不变，鲁棒性工作只做局部 API 扰动。而真实场景中工具生态是持续演化的——论文开篇给出大公司用智能体做统一服务入口的例子：各部门独立维护和更新自己的工具，功能重叠、描述含噪或不准确；部门退役或替换工具会让已建立的工作流突然断裂，新工具又可能带来被淹没在目录中的更优工作流。更隐蔽的是，智能体从历史交互中积累的流程知识会随之过时：一条熟悉的老路径仍能把任务做成，于是'任务成功'反而掩盖了错失更高效路径的机会。作者在新基准上的实测印证了这些痛点：即便最强的模型或 harness（Codex-GPT-5.5）任务成功率也只有 42.27%；所有模型的工具检索召回率可高达 90.36%，但精度低至 19.90%——模型'找得到相关工具，却剔不掉无关工具'，更难甄别当前版本下唯一有效且高效的实现。
本文的目标是本文要回答一个此前未被系统检验的问题：当大型工具生态持续演化时，智能体能否主动发现当前生态下最高效的工具使用路径，并及时修订自己积累的流程知识？为此作者构建了 Δτ-Bench——一个横跨工具使用全生命周期的可执行基准：42 个领域的有状态 MCP 服务、1,588 个经验证的多轮任务（训练集 1,191、测试集 397），并通过能力保持变换生成六个相继的生态状态，合计 9,528 个任务-生态实例。在每个状态下，基准用动态规划在构造出的实现空间中搜索步数最少与成本最低的参考路径，作为动态演化的评测锚点，从而同时度量任务成功率（SR）、工具检索质量（P/R/F1）、成功加权路径效率（SPE），以及两个专门针对'移动前沿'的新指标——改进发现率 IDR 与退化适应率 DAR。在诊断出模型与现有技能方法都追不上前沿之后，论文进一步提出生态管理器 STEWARD，把工具与技能当作耦合资源统一维护与供给。
与已有工作不同的是，本文的独特之处在于把'演化'从偶发扰动升级为结构性设定。以往鲁棒性工作把工具变化当作噪声（改改描述、换换参数），服务结构和能力空间基本不动，服务变化时还常约束掉工具发现。Δτ-Bench 则用'能力保持变换'系统生成替代实现：一对一（改名/加参数/改格式）、一对多（把一个函数拆成协同接口）、多对一（把连续子序列的多个函数合并成统一接口），并强制每次变换保留源能力、状态变化与对外输出——底层能力不变，而'如何完成同一意图'在版本间持续改变。第二个独特处是参考路径的自动搜索：对每个任务在每个版本，用 $\rho^{(v,c)}_i = \arg\min \sum_j c^{(v)}(R_j)$ 的动态规划在全部可执行实现构成的空间里找最优路径，而非人工标注。第三个是评测哲学的转变：不只看'成功与否'，还对照当前生态的可能性度量效率与适应（SPE/IDR/DAR），并在方法侧把工具与技能视为互相依存的资源系统（STEWARD）共同管理，而非各自独立优化。
核心方法
整体分三部分。第一，基准构建：从种子域扩展出 42 个角色化场景，定义实体模式、实体-关系图与服务蓝图；把验证过的函数确定性转成带 JSON Schema 的 MCP 调用接口，配以规定前置条件、参数语义、状态变化与依赖关系的操作策略，在模拟数据库上实现可执行环境，得到初始状态 $s^{E}_0$。第二，演化机制：对每个域构造替代实现空间，经能力保持变换与 lineage 覆盖验证采样出 v1–v6 六个版本（v1 有 892 个工具，各版本规模稳定在 799–892 但接口持续增删改），并在每版本上用 DP 搜索步数最少与成本最低的参考路径。任务侧则从工具依赖图采样路径、经 join 与重复子路径增强、模板筛选、参数落地与 replay 验证得到 1,588 个参考轨迹 $\tau_{\text{gold}}$，再由独立 LLM 用户代理按私有手册做渐进披露式多轮交互。第三，STEWARD：一个模型驱动的生态管理器，维护共享资源状态 $B^{(v)} = (A^{(v)}_{\text{tool}}, K^{(v)})$，其中 $K^{(v)}$ 是记录流程知识、工具依赖与可用状态的持久技能库；它通过增量技能维护与动态能力供给，为任务智能体构建专属视图 $b^{(v)}_t = (\hat{A}^{(v)}_t, k^{(v)}_t)$，使策略变为 $a_t \sim \pi_\theta(\cdot \mid h_t, b^{(v)}_t)$。
核心创新有二。其一是'能力保持变换 + 移动参考路径'的评测范式：与 τ-bench 等静态服务不同，Δτ-Bench 让同一用户意图在不同版本下拥有不同的最优实现——旧工具退役逼迫智能体重构路径（对应 DAR），新工具带来更短更省的路径等待被发现（对应 IDR）。参考路径不靠人工标注，而是由 DP 在全部可执行实现构成的空间中解序列覆盖问题自动求得，并经 MCP replay 验证状态效果，保证评测锚点客观、可执行、跨版本可比。其二是 STEWARD 的'工具-技能耦合管理'：现有技能学习方法在稳定底座上孤立地生成与优化技能，生态一变，技能可能指向已退役工具却无人察觉。STEWARD 把技能库组织成三级层次——planning 技能描述任务级工作流、atomic 技能编码可复用操作、tool skills 给出单工具调用要求，并在技能图中显式记录技能对工具的依赖；工具目录变化时按依赖把技能标记为 active/inactive，inactive 技能不删除、待依赖工具回归即可复活。执行中把工具暴露与流程指导捆绑供给：先检索 planning 技能改写成临时计划，再逐步配 atomic 技能及其工具，执行中按需补足。这把'学什么、留什么'与'当前能用什么'连成一体。
方法步骤详情
基准侧六步。(1) 域接地环境：42 个域各定义实体模式、实体-关系图与服务蓝图，函数转成带 JSON Schema 的 MCP 接口，操作策略约束前置条件与状态变化，实例化模拟数据库得 $s^{E}_0$。(2) 任务合成与验证：在工具依赖图上采样路径（查询型函数优先起步），用共享节点 join 与子路径重复加难；模板经独立评估器按动机、连贯、功能覆盖、自然、具体五项筛选；参数落地后从 $s^{E}_0$ replay，仅保留每步成功且状态转移符合预期的实例，得 1,588 任务（平均 gold 调用 5.10/5.11 次）。(3) 用户模拟：LLM 用户代理持私有手册（完整意图、动机、接地信息与披露规则），渐进披露、不提函数。(4) 能力保持变换：$\phi: P \mapsto R$ 分一对一、一对多、多对一三种（合并要求 $P$ 为验证轨迹的连续子序列），LLM 提议实现，自动验证能力、状态变化与输出等价后保留并记录 lineage。(5) 生态采样：每版应用有界数量变换，或保留旧接口制造重叠、或停用逼迫迁移，lineage 递归验证基能力全覆盖；可选扰动描述模拟陈旧文档。(6) 参考路径搜索：DP 求最小步数/成本路径（成本为 LLM 打的每次调用 1–10 分）并 replay 验证。评测时 $S^{(v)}_i = \mathbb{I}[\Delta^{\text{gold}}_i \subseteq \Delta^{(v)}_i]$，另有检索 P/R/F1、成功加权效率 SPE 与改进发现/退化适应率 IDR/DAR。STEWARD 侧：(a) 初始化——v=1 从验证训练轨迹抽取三级技能；(b) 增量维护——管理器依据 $K^{(v-1)}$、$A^{(v)}_{\text{tool}}$ 与验证成功轨迹产出 add/modify/keep/skip 局部编辑，按工具依赖标记 active/inactive，索引只在活跃子集 $K^{(v)}_{\text{act}}$ 上重建；(c) 能力供给——开局检索 top-5 planning 技能改写为临时计划 $\hat{p}$，每步经 MMR 检索并由 LLM 选至多 8 个 atomic 技能、叠加每步 top-3 工具构成初始视图 $b^{(v)}_0$；执行中经 retrieve_tools（至多 5 工具）与 explore_capabilities（每局至多 3 次、每次至多 8 工具、技能全文累计 4,000 字符）按需补足，管理器须逐个检查 schema 并显式报告替换。
技术新颖性
技术新颖性体现在四个层面。评测构造上，'能力保持变换'首次把工具演化做成可组合、可验证、可扩展的系统性机制：变换只修改局部能力块，无需重建域或服务即可增量扩展演化空间；每个候选带源函数 lineage 并在有状态环境中做能力、状态变化、输出三重等价验证，解决了'演化后任务是否仍可解'的可执行性难题。评测协议上，IDR/DAR 是全新指标，把'成功'与'是否跟上前沿'解耦——No Skill 在 v5 的 DAR 反超多个技能方法、EvoSkill 与 AutoSkill 在 v3 的 DAR 归零这类现象，用旧的 SR/SPE 根本看不到。方法上，STEWARD 把技能维护从'重复重建'改为'带依赖追踪的增量编辑'：技能只休眠不删除，依赖工具回归即可复活；消融显示这比全重建高 2.22 pp SR 且省 39.5% 维护 token，而 GPT-5.5 上全重建（38.99%）甚至低于冻结库（39.60%）。同时它把工具暴露与技能注入做成联合动作——消融显示只给工具不给技能时 Step-DAR 反而降 2.76 pp，联合供给才使 DAR 大涨。工程上，DP 序列覆盖搜索（每次调用 1–10 的成本由 LLM 依工具定义与实现标定）让'最优效率'在大规模生态上可计算、可验证、可复现。
实验结果
主实验四块。(1) 模型评测（Table 1）：九个模型/harness 中最强 Codex-GPT-5.5 SR 42.27%、Gemini-3.6-Flash 41.65%，开源最高 DeepSeek-V4-Pro 33.29%，Claude-Sonnet-5 仅 29.97%；无一模型 Step-/Cost-SPE 超过 30%。检索普遍高召回低精度：Codex-GPT-5.5 R=90.36% 而 P=19.90%、F1=32.04%。成功不等于高效：DeepSeek-V4-Pro SR 略胜 GLM-5.2（33.29 vs 32.28），但 Step-/Cost-SPE 13.49/14.31 落后于 19.39/19.84。(2) 供给诊断（Figure 3）：从 Standard 经 Domain/Task Tools 到 Oracle Tools，SR 与 SPE 稳步上升，而再给参考路径（Oracle Path）几乎无增益——瓶颈不在高层规划，而在甄别并高效使用当前版本的有效工具。(3) 技能方法（Figure 4）：v1 时四方法均优于 No Skill，但 AutoSkill 在 v3、v5 的 SR 跌破 No Skill，EvoSkill/AutoSkill 在 v3 的 DAR 归零（No Skill 仍有 11.11%/10.25%）；SkillOpt 当前版本最强（平均 SR 36.36%）但维护开销约 3,000K/任务，是其他方法的 2–3 倍。(4) STEWARD（Figure 6）：平均 SR 39.04%，六版本全部第一；v2 起基线维护 token 为其 1.2–5.5 倍；相对最佳基线平均 Step-/Cost-IDR +4.04/+3.69、DAR +5.28/+4.76、SPE +2.68/+4.21。消融（Table 2）：增量维护 SR 36.83% 高于全重建 34.61% 与冻结 33.90%，token 省 39.5%；GPT-5.5 上全重建 38.99% 甚至低于冻结 39.60%。供给消融（Figure 7）：仅工具检索 SR +8.65、Tool F1 +4.14 但 Step-DAR −2.76；联合供给使 DAR 再 +11.41/+9.30 pp。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 六版本演化生态下的多轮任务执行 | 任务成功率 SR (%) | 最强 Codex-GPT-5.5 42.27；Gemini-3.6-Flash 41.65 | Claude-Sonnet-5 29.97；开源最高 DeepSeek-V4-Pro 33.29 | 无模型超过 43%，凸显'移动前沿'难度；顶级与二线模型差距约 10–12 pp |
| 大规模工具库中的工具检索 | 任务级 P/R/F1 (%) | Codex-GPT-5.5：P 19.90 / R 90.36 / F1 32.04 | GPT-oss-120B F1 27.00（各模型 F1 约 27–32） | 召回与精度相差约 70 pp，'剔除无关工具'成为普遍瓶颈 |
| STEWARD 对比最佳技能基线的全程成功率 | 六版本平均 SR (%) | STEWARD 39.04 | SkillOpt 36.36 | +2.68 pp，且六个版本全部第一 |
| 改进发现（采用新出现的更优路径） | 平均 Step-/Cost-IDR (%) | 相对最佳基线平均 +4.04 / +3.69 | EvoSkill/AutoSkill 在 v3 的 DAR 归零；No Skill 在 v2 拿最高 Cost-IDR、v5 拿双 DAR | 孤立技能积累无法持续兑现为前沿追踪，工具-技能耦合管理可以 |
| 退化适应（最优路径变差后的恢复） | 平均 Step-/Cost-DAR (%) | 相对最佳基线平均 +5.28 / +4.76 | 仅工具检索时 Step-DAR 反而下降 2.76 pp | 工具与技能联合供给是 DAR 提升的关键 |
| 执行效率 | 平均 Step-/Cost-SPE (%) | 相对最佳基线平均 +2.68 / +4.21 | 所有裸模型 Step-/Cost-SPE 均低于 30 | 在成功之外，执行效率也显著抬升 |
| 技能维护开销 | 维护 token（K/任务） | STEWARD 最低，v2 起基线为其 1.2–5.5 倍 | SkillOpt 约 3,000 K/任务 | 约 2–3 倍开销下降，同时性能更高 |
| 跨版本知识维护策略（DeepSeek-V3.2） | SR (%) / 维护 token（K） | 增量维护 36.83 / 769.55 | 全重建 34.61 / 1,271.10；冻结库 33.90 / 0 | 较全重建 SR +2.22 pp 且 token 省 39.5% |
局限与改进
作者承认的局限：用户侧与成本侧都依赖 LLM——用户模拟器固定为 DeepSeek-V3.2，会把该模型的披露风格与偏好系统性带进评测；cost 准则是 LLM 基于工具定义与实现打的 1–10 分，属主观代理指标；参考路径只在'构造出的实现空间'内最优，不代表真实生态的全部可能；六个版本、平均每任务约 5 次调用的规模与时长有限；文档扰动只模拟了部分陈旧/压缩情形。我自己的观察：其一，成功判据 $\Delta^{\text{gold}}_i \subseteq \Delta^{(v)}_i$ 是覆盖式的，智能体产生多余副作用（多写、多删记录）也算成功，对真实部署而言偏宽松；其二，演化由同一代 LLM 提议并验证，变换的多样性与真实 API 变更的分布差距难以量化，且训练/测试任务出自同一构造流程，可能共享模板偏置；其三，技能方法对比只在 DeepSeek-V3.2 单一任务模型上做，结论对其他骨干的普适性未验证；其四，IDR/DAR 只比较相邻版本，无法刻画跨多版本的长程遗忘与恢复；其五，每任务六版本多轮 rollout 的评测成本高，社区复跑门槛不低。
独立分析的弱点
独立分析的弱点与改进方向：(1) 效率标注噪声——per-call cost 由 LLM 打 1–10 分，换打分模型或提示就可能改变参考路径乃至 IDR/DAR 的结论；改进方向是用真实执行延迟、token 消耗或失败率等可复现度量校准或替代主观分。(2) 成功判据过松——覆盖式判定不惩罚多余副作用；应引入精确集合匹配或副作用惩罚项，区分'必要写'与'冗余写'。(3) 演化分布合成痕迹重——变换由 LLM 提议，倾向规整、语义干净的改写；可对齐真实 MCP server 或公开 API 的版本历史做回放式演化，检验结论外推性。(4) STEWARD 的冷启动与域依赖——v1 技能库从训练轨迹抽取，planning 层还被固定不动，遇到训练分布外的新工作流只能靠 explore_capabilities 兜底（每局最多 3 次）；可引入 planning 层的在线修订与跨域技能迁移。(5) 固定用户模型——所有交互都经 DeepSeek-V3.2 用户代理，换模型后任务难度分布可能漂移；应报告多用户模型下的方差。(6) 检索上限——各模型检索精度普遍低于 20%，STEWARD 的供给也以 top-k 相似度为主；可研究依赖感知的工具图检索或训练专用检索器，把 lineage 图本身用作检索特征。
未来方向
作者指出的方向与可延伸的工作：作者主张把工具与流程知识当作互相依存的资源统一管理，并暗示生态管理器范式可推广——覆盖更剧烈的演化（跨版本多步漂移、接口语义变化而非仅结构变化）、更大规模生态（工具数从数百到数万）、以及多智能体共享同一生态时的协同维护。基于本文成果还可延伸：(1) 用强化学习训练'何时检索、如何构造查询、如何评估结果'的检索策略技能，替代当前纯提示驱动的 retrieve_tools/explore_capabilities；(2) 把增量维护做成半自动流程，以环境状态验证为奖励信号自动接受或回滚技能编辑；(3) 研究技能休眠-复活机制的遗忘与干扰，例如 inactive 技能长期积累后的检索污染问题；(4) 把 IDR/DAR 推广为跨任意版本对的前沿追踪曲线，作为持续学习文献中 forward/backward transfer 的工具版对应物；(5) 与真实 API 生态（公开 MCP 仓库更新日志）联动构建'数字孪生'式演化基准；(6) 探索成本感知训练：把 per-call cost 作为奖励信号进入智能体微调，而不仅是评测准则，让模型天生偏好便宜等价的实现。
复现评估
复现条件较好。代码与数据集均已开源（GitHub 与 HuggingFace 均为 zjunlp/delta-tau-bench），附录给出完整构造流程（A.1/A.2）、基准统计（A.4）、评测协议与指标定义（A.3）、四个技能基线的适配细节（B）、STEWARD 实现细节（C）以及全部提示词（D.1–D.4）；可执行性由 MCP 服务与 replay 验证保证，参考路径搜索的 DP 有明确公式。环境侧需要足够强的 LLM API 用于环境/任务/变换生成与验证、用户模拟（论文固定 DeepSeek-V3.2）与成本打分；评测侧需对 9,528 个任务-生态实例做六版本多轮 rollout，主表覆盖 9 个模型，API 推理开销可观，但无训练算力需求（所有对比方法均不更新参数）。综合评估：复跑论文数字为中等难度——主要不确定性来自 LLM 生成内容的随机性（需固定种子与温度策略）和长程 rollout 的工程稳定性；但复用其环境与任务评测自己的智能体相当容易。技能基线均直接采用官方实现接入，避免复现分歧。
论文图表
示意智能体适配演化工具生态的全景：用户通过统一入口向智能体委托目标，背后是各部门独立维护、不断更新的工具生态；旧工具退役、新工具出现、功能重叠且描述含噪；已积累的经验随更新滞后，任务成功可能掩盖错失的更优路径。
一图道出问题设定与两大失败模式（经验滞后、成功掩盖机会），是理解全文动机的最快入口。