演进式智能体接口：Agent S4 让接口设计成为智能体的自主能力 Evolving Agent Interfaces
用种群进化从无标签任务经验中自动设计智能体接口，27B 模型超越 GPT-5.5
前置知识
计算机操作智能体（Computer-Use Agent, CUA）
指在数字环境（桌面操作系统、浏览器、办公软件）中通过观察屏幕状态并执行点击、键盘输入、命令等操作来完成任务的 AI 智能体。典型工作循环是：接收自然语言指令、截图或读取界面状态、选择动作、观察结果、迭代直至任务完成，代表系统包括各类 OSWorld 框架与 Claude Computer Use。本文的任务智能体是 Qwen3.8-27B 模型配合 Prime Agent harness，在 300 步预算内多轮交互完成桌面任务。
本文研究的正是 CUA 的性能瓶颈来源之一。理解 CUA 的观测-动作循环，才能理解接口为何会成为天花板。
智能体-计算机接口（Agent-Computer Interface, ACI）
智能体与环境交互的通道，形式化为 $I = \langle c_I, \mathcal{A}_I, \mathcal{O}_I \rangle$：覆盖计算机的哪些部分 $c_I$、接受什么请求语言 $\mathcal{A}_I$（如点击坐标、bash 命令）、返回什么观测语言 $\mathcal{O}_I$（如截图、文本）。SWE-agent 已证明 ACI 设计直接影响性能。GUI 接口直观但低效（逐格填表），shell 或 API 接口高效可靠，但智能体需要知道何时用哪个。
本文的核心主张是把 ACI 从人类预先设计改为由智能体自主进化，全部方法围绕接口的表示、构建与改进展开。
种群进化搜索
受遗传算法启发的搜索范式：维护一组候选解（这里是接口仓库变体）构成的种群，通过变异（单亲修改）与交叉（双亲重组）生成后代，用适应度（held-out 验证分数）做二元锦标赛选择决定谁成为亲本，父母与后代并存形成有向无环谱系，可选剪枝控制种群规模。相比只沿单链迭代的线性进化，种群保留了替代设计，可在后续迭代中被重新访问和重组。
Agent S4 的搜索机制完全建立在该范式之上，表 4 中与线性进化的对比是其关键消融实验。
无验证器经验（verifier-free experience）
指任务执行产生的轨迹不附带成功或失败标签，也没有可调用的自动评分器。真实世界的计算机任务大多缺乏可靠的程序化验证器，因此元智能体只能从『哪里卡住了、哪里低效』的定性诊断中提出接口改进假设，不能按失败案例定向优化。本文进一步把训练信号（轨迹）与选择信号（held-out 验证分数）刻意分离。
这是理解本文与『根据评测分数改进』类方法区别的关键，也解释了为什么需要不对称信息设计。
Harness（智能体脚手架）
包裹语言模型的执行框架，负责模型调用、请求执行、权限边界 $P_H$、任务预算与上下文准备（包括自动压缩）。harness 与模型共同构成智能体 $A = (M, H)$。本文刻意保持任务智能体的模型与 harness 完全固定，让所有改进只发生在仓库提供的接口与知识层，从而把性能提升干净地归因于接口进化。
冻结 M 和 H 是本文实验设计的基石，否则无法排除『顺便改了 harness』这类混淆因素。
研究动机
当前计算机操作智能体的接口由人类在设计框架时预先确定并固定，这带来三个具体问题。其一，进展依赖人工：计算机使用场景开放，每出现一类新任务或新模型就暴露新的失败模式，研究者必须人工阅读轨迹、诊断失败、编写新的原语、观测格式或记忆机制，再打包成新框架发布，这一循环无法随任务多样性扩展。其二，静态接口与任务错配时，现有方法只能靠增加测试时算力来弥补：例如一个 shell 任务中，智能体通过点击打开终端窗口、逐字符键入命令、再从部分遮挡的截图里读取反馈，而一条直接的 shell 接口调用本可更快更可靠；同样的错配还表现为在电子表格里逐格填写本可一行代码批量写入的数据，或为了找一个函数把两千行文件全部打印出来。其三，把测试时经验沉淀为可复用技能或工作流的方法（如 Agent Workflow Memory）继承了同样的上限：每条技能只是预设观测与动作的组合，蒸馏可以重排接口允许的内容，却无法扩展接口本身。根源在于接口被视为部署前的人类设计决策，而不是可以从智能体自身经验中研究和改进的对象。
本文的目标是本文的目标是把接口设计本身变成智能体的一项自主能力：让智能体从纯合成任务的经验中自动构建并持续改进一个接口与使用知识的仓库。形式化地，给定目标任务分布 $\mathcal{D}$ 和固定的任务智能体 $A$，寻找仓库 $R^\star \in \arg\max_R \mathbb{E}_{x\sim\mathcal{D}}[J(A,R,x)]$，其中 $J$ 是期望任务得分。约束条件有三：改进只能来自合成训练任务的无标签轨迹，不允许使用成功标签或任务验证器；元智能体在构造接口时不得接触任何验证任务，验证集只用于在进化中选择亲本；任务智能体的模型与 harness 保持冻结，保证提升完全归因于接口层。可量化的目标是：在 OSWorld V2 全量 108 任务上让 27B 开源模型的二元成功率达到或超过 GPT-5.5（13.0%）与 Claude Opus 4.8（20.6%）等闭源前沿模型且成本大幅更低，在 ScienceBoard 全量 169 任务上超过同模型固定接口基线（41.4%）。
与已有工作不同的是，已有工作在三个相邻方向上留下了空白。接口研究方向（SWE-agent 的 ACI、Agent S 系列的工程化组件、UI-TARS 的 GUI 策略学习、各类 API 与代码执行增强）证明了接口影响性能，但接口内容仍由人类设计，或局限于单任务内的临时代码。自动智能体设计方向（ADAS、Darwin Gödel Machine、Self-Harness）进化的是智能体设计或 harness 本身，而非任务接口层。技能与工具构建方向（LATM、SkillWeaver、CUA-Skill）能从经验构建可复用工具，但每条技能仍由预设动作组合而成，且通常是单任务内的构建。Agent S4 的独特切入是：把『接口+使用知识』作为完整软件仓库、跨任务地进行种群进化；用不对称信息流控制过拟合——元智能体只见无标签训练轨迹，验证任务、轨迹、诊断与分数全部对其隐藏，验证只通过亲本选择施加压力；并且全程不需要成功标签或验证器，这使方法原则上可以应用于没有评测脚本的真实环境。
核心方法
直觉上，这就像让一位工程师定期阅读产品的用户行为日志，发现用户反复绕弯的操作后迭代改进 API 并写好使用文档——只不过这里的『工程师』是元智能体，『用户』是在合成任务上执行的任务智能体，『API』是操作计算机的接口仓库。技术路线分四层。任务层是固定的智能体 $A=(M,H)$，即 Qwen3.8-27B 配合修改版 Prime Agent harness（持久 IPython 内核执行代码）。仓库层 $R=(\mathcal{I}(R), \mathcal{K}(R))$ 包含可执行接口与使用知识（能力描述、可复用工作流、使用时机笔记），任务智能体的可用接口从基础集合扩展为 $\mathcal{I} \cup \mathcal{I}(R)$。搜索层是种群进化：元智能体在自己的虚拟机上研究亲本仓库的训练轨迹，通过变异或交叉构造后代，一次进化步即 $R_{k+1} = E(R_k, \mathcal{T}_k)$。选择层用元智能体不可见的验证分数做锦标赛，最终按验证表现选出发布仓库。每轮 30 个后代，训练任务 30/48 个，验证任务各 15 个。
核心创新是把接口从『部署前的人类设计决策』重新定义为『可以从智能体自身经验中研究、修改、选择的对象』，并以种群进化为搜索引擎。与已有方法的本质区别有三点。第一，进化对象是完整的仓库版本而非单个工件：变异与交叉可以同时增删改接口代码、观测例程、配置和使用知识，例如新增一个批量编辑电子表格的接口时，同步修订『何时用 GUI 何时用批量接口』的知识文本。第二，不对称评估是防止过拟合的关键机制：元智能体只拿到训练轨迹（且无成功标签），验证任务的指令、轨迹、诊断和分数都保存在控制器一侧对其不可见，验证分数只通过二元锦标赛决定谁有资格做亲本，这继承了遗传编程中 evolutionary curtailment 的思想。第三，任务智能体的模型与 harness 完全冻结，进化产物是一个可移植的仓库，能与兼容的智能体和 harness 复用，使接口改进成为与模型进步、harness 进步正交的第三条改进来源。标题实验支撑了这一点：同样的 Qwen3.8-27B 与 harness，仅替换接口仓库就把 OSWorld V2 二元成功率从 5.56% 提到 21.30%。
方法步骤详情
第一步初始化：从含 15 个函数的种子仓库出发，在 30 个合成训练任务和 15 个官方验证任务上运行任务智能体，得到训练轨迹与初始验证分数。第二步选择与构造：算子调度交替指定变异或交叉；每个亲本由二元锦标赛选出；元智能体在其虚拟机上获得亲本仓库、训练轨迹和谱系笔记本，在两小时（OSWorld V2）或一小时（ScienceBoard）墙钟预算内阅读轨迹、诊断失败模式、提出假设，再用文件、shell 和代码接口把假设实现为新增、修订或删除的接口与知识；带 scratch VM 时还可打开真实应用测试代码。第三步评估：冻结后代，任务智能体在训练与验证任务上各跑一遍（每任务 300 步预算），训练轨迹无标签、仅作为进化证据存档，验证分数为留出验证任务上的平均得分 $F_{\text{val}}(R)$。第四步种群更新：后代无论分数高低都加入种群，父母保留，谱系构成有向无环图；每 10 步后取消最低 5 个变体的亲本资格；ScienceBoard 每 5 步对前三名做去噪重评估并取均值。第五步终选：按验证标准选仓库，冻结后在全部测试任务上评估。
技术新颖性
新颖性体现在四个层面。对象层面：以往进化搜索要么优化 prompt（GEPA），要么优化智能体自身代码（ADAS、Darwin Gödel Machine、Self-Harness），要么单任务内造工具（LATM、SkillWeaver），本文首个把『跨应用的接口仓库+使用知识』作为进化单位，搜索空间是有类型的软件制品（系统级、应用级、跨应用、任务级四类接口）。信号层面：训练完全无验证器，选择信号与构造信号严格隔离，这种不对称信息设计在 LLM 智能体的进化搜索中是新的，直接回应了长视界任务分数方差大的问题——图 6 显示首个验证分数高达 73.33% 的仓库，重复评估均值仅 60.00%。工程层面：合成任务由 coordinator（GPT-6 Astra）、authors 与独立 reviewers（GPT-5.6-Sol）组成的多智能体流水线生成，对照官方任务的指令与 setup 元数据做去重审查，保证训练经验与基准任务不重叠。归因层面：由于模型与 harness 冻结，所有提升可干净归因于接口层，且产物可移植复用。
实验结果
OSWorld V2 全量 108 任务：进化仓库使 Qwen3.8-27B 达到 21.30% 二元成功、46.90% 部分分、每任务 1.10 美元，较同模型固定接口（5.56%/20.69%）提升 3.8 倍，超过 GPT-5.5（13.00%，25.50 美元）与 Opus 4.8（20.60%，72.40 美元），成本仅为其 4.3% 和 1.5%；带 scratch VM 的仓库部分分最高 51.06%。消融：种子仓库把无仓库的 15.74% 提到 19.44%，种群进化优于线性进化的 47.17%。ScienceBoard 全量 169 任务独立进化：成功率从种子 55.03% 升至 58.58%，远超 Qwen CUA 的 41.4%；仓库从 15 个函数长到 64 个，新增 ChimeraX、GRASS GIS、批量 KAlgebra 等接口，KAlgebra 成功率 48% 升到 68%，每任务模型调用 61.7→58.9。接口统计：两种配置分别引入 4/12 个新接口和 127/253 个扩展。案例（图 5）：固定接口在报销任务中从第 21 步折腾到第 111 步，进化接口用 browser.api、curl、pdftotext 几十步完成。图 6：if-003/if-004 首评 73.33%，重评均值跌到 60.00%/66.67%，选中的 if-016 均值 71.67%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OSWorld V2 全量 108 任务（桌面计算机操作） | 二元成功率 (%) | 21.30（Qwen3.8-27B + 进化仓库，无 scratch VM） | Qwen CUA 同模型固定接口 5.56；GPT-5.5 13.00；Claude Opus 4.8 20.60 | 较同模型固定接口提升 3.8 倍（+15.74 个百分点），并超过 Opus 4.8 |
| OSWorld V2 全量 108 任务 | 部分分 (%) 与每任务成本 ($) | 46.90（无 scratch VM）/ 51.06（有 scratch VM），成本 $1.10-1.27 | Qwen CUA 20.69 分、$1.39；Opus 4.8 batched 54.80 分、$72.40 | 部分分提升 2.3-2.5 倍，成本降至前沿闭源模型的 1.5%-4.3% |
| ScienceBoard 全量 169 任务（六个科学应用） | 成功率 (%) | 58.58（进化仓库，解决 99/169） | Qwen CUA 41.4；同模型种子仓库 55.03（93/169） | 较固定接口 +17.2 个百分点，较种子仓库 +3.55 个百分点 |
| ScienceBoard KAlgebra 子集 | 成功率 (%) | 68 | 48（进化前） | +20 个百分点，归因于批量求值计算器接口 |
| ScienceBoard 每任务效率 | 平均模型调用次数 | 58.9 | 61.7（种子仓库） | 每任务减少 2.8 次调用 |
局限与改进
作者承认的局限：二元成功与部分分此消彼长——无 scratch VM 二元最高（21.30%）但部分分 46.90%，带 scratch VM 部分分最高（51.06%）却二元 19.44%，论文只有『更多应用接口可能解释更高部分分』的猜测，机制未明；验证分数噪声大，ScienceBoard 需要每 5 步去噪重评估，OSWorld V2 因成本放弃；报告成本只含任务求解的模型调用（假设 80% 缓存命中），不含仓库构建与基础设施。我自己观察到的：训练与验证任务都取自同一基准，最终评估也在同一基准上，仍存在对基准风格的软过拟合空间；合成任务质量完全依赖 GPT-6 Astra 与 GPT-5.6-Sol 的生成互审，没有人工成功标签意味着『接口是否更好』完全由 15 个验证任务的代理信号决定；所有结果基于单一 27B 模型与单一 harness，接口仓库对其他模型的迁移性未测；OSWorld V2 上 21.30% 对 20.60% 的领先约等于 2-3 个任务，而图 6 显示单次评估波动可达十余个百分点，领先幅度可能落在运行方差之内。
独立分析的弱点
弱点一：选择信号太弱。15 个验证任务、二元指标、单次评估方差巨大（图 6：首评 73.33% 的仓库均值仅 60.00%），30 个后代的搜索容易被噪声主导，可按分数置信区间自适应分配重评估预算。弱点二：仓库与模型耦合。使用知识以自然语言描述『何时用哪个接口』，是围绕 Qwen3.8-27B 的行为习惯演化出来的，换一个模型可能既用不好复杂接口也读不懂知识文本，可研究模型无关的最小接口核或对知识做模型条件化改写。弱点三：进化能力受元模型上限约束。元智能体用同一个 27B 模型写接口代码，其软件工程水平封顶了可进化的接口复杂度；合成任务构建还依赖 GPT-6/GPT-5.6 级闭源模型。弱点四：反直觉结果缺乏归因——『不带 scratch VM 二元反而更高』只有一句解释，若能对 30 个后代的全部变异做细粒度归因（哪类修改贡献了二元分），方法论价值会大得多。弱点五：安全维度缺失。进化出的 browser.api 从已登录标签页内直接发请求、curl 任意下载，权限完全靠 harness 静态约束；自由进化的接口可能形成绕过权限边界的模式，论文未讨论审计或沙箱机制。
未来方向
作者提出的方向：接口进化是与模型进步、harness 进步互补的第三条改进来源，进化出的仓库可与兼容的智能体和 harness 复用，未来可扩展到更多应用域和更强模型。基于其成果可延伸的方向：一是部署时在线进化——用真实用户环境的任务流（在隐私与权限约束下）取代合成任务，让仓库随使用持续生长；二是多智能体共享仓库生态——不同角色智能体（编码、办公、科研）各自进化并交叉重组接口，形成能力市场；三是更稳健的选择理论——把验证分数建模为带方差的估计，用贝叶斯优化或 UCB 式采集函数替代锦标赛；四是接口规模化规律——研究仓库规模（种子 15 个函数长到 64 个）与任务性能、成本之间的 scaling 曲线，回答『接口该长多大』；五是与强化学习结合——用验证分数做奖励，让模型内化接口使用知识而非依赖文本；六是接口安全演化——给元智能体加权限策略约束，研究进化过程中的自动化安全审计。
复现评估
代码已开源（github.com/simular-ai/agent-s），两个基准均为公开工作：OSWorld V2 提供官方任务与 Qwen CUA 基线实现，ScienceBoard 公开 169 任务与六个科学应用，这是复现的有利面。不利面：30 个合成训练任务的构建流水线依赖 GPT-6 Astra 与 GPT-5.6-Sol 等论文发表时点的前沿闭源模型，作者与审查者提示词虽在附录但模型本身未必可得；进化算力可观——四个搜索配置各 30 个后代，每个元智能体构造有 1-2 小时墙钟预算，每步还要跑 30 个训练加 15 个验证 rollout（每任务 300 步，OSWorld V2 另限 2 小时、ScienceBoard 限 1 小时墙钟），总成本在数千美元 API 费用量级，远超个人算力。务实的复现路径分两档：低成本档直接克隆开源仓库、在自己的任务分布上评估最终接口（每任务约 1.10 美元，108 任务约 120 美元）；完整档需要再现合成任务生成、种群进化和去噪机制，建议先用小规模种群（8-10 个后代）验证趋势。综合评估：最终接口的评估容易，完整进化复现难度中高。
论文图表
上半部分展示传统范式：人类设计的固定接口（点击、滚动、键入、CLI），智能体只能在其上执行。下半部分展示 Agent S4 的新范式：任务智能体的轨迹经验被元智能体研究，产出不断改进的接口仓库（GUI 截图/点击等接口与 page_text()、page_eval() 等程序化接口并存），形成使用与进化的闭环。
一张图讲清论文的核心主张与范式对比，是理解『接口应该被进化而非被设计』这一论点的入口。
ScienceBoard 验证成功率随进化步骤（0-30 步）的变化图：红点标记首评最高分（if-003 与 if-004 均达 73.33%），蓝线为重复评估均值最高的仓库 if-016（四次评估 73.33%/66.67%/73.33%/73.33%，均值 71.67%）；if-003 重评后均值跌至 60.00%，种子仓库均值 53.3%。
揭示了长视界任务验证分数的巨大方差，解释了为什么需要去噪重评估，也提醒读者对单次评测的领先幅度保持警惕。