SkillOpt：自进化智能体技能的「执行级」优化策略 SkillOpt: Executive Strategy for Self-Evolving Agent Skills

完整方法分七步，每一步的输入输出都可追溯。第一步是「问题形式化」：技能 $s$ 是一段自然语言策略，注入到 $M$ 的系统提示或作为 SKILL.md 在 harness 中加载；执行返回轨迹 $\tau(s)$ 和标量得分 $r(s) \in [0, 1]$；优化目标是在 selection split 上最大化 $\frac{1}{|D_{sel}|}\sum_{x\in D_{sel}} r(s)$，最终在 disjoint test split 上报告。第二步是「Rollout Forward」：从 $D_{tr}$ 抽一个大小为 $B$（默认 40）的 batch，让冻结的 $M$ 在当前 $S_t$ 下执行，记录消息、工具调用、观察、verifier 反馈等完整证据；支持 accumulation 把多个 rollout 合并成一个 update，把吞吐量与更新频率解耦。第三步是「Reflection Backward」：优化器先把轨迹分成败/胜两组，再把每组分进 reflection minibatch（默认 $B_m=8$），每个 minibatch 独立产出结构化的 add/delete/replace 提案；失败 minibatch 找缺失或错误的规则、成功 minibatch 保留已经管用的行为；局部提案再按「先合并失败/成功各自组，再以失败修正为优先级」的层级合并去重去冲突。第四步是「Bounded Text Update」：合并后的编辑池按预期效用排序，裁到 top-$L_t$ 条（默认 $L_t=4$，cosine 调度从大到小衰减，下限 2），用 patch 模式执行 append/insert/replace/delete；这一步是 SkillOpt 与「无界改写」最关键的隔离带，论文用 ablation 证明「without lr」在 SpreadsheetBench 上从 77.5 跌到 75.7、在 LiveMath 从 61.3 跌到 57.3。第五步是「Validation Gate & Rejected Buffer」：候选 $S_{t+1}'$ 在 $D_{sel}$ 上重跑，严格大于当前 selection 分数才接受，ties 拒绝；被拒的编辑连同分数差一起入 epoch-local buffer，后续反思会收到这份负反馈，让优化器不再重蹈覆辙。第六步是「Epoch-Wise Slow/Meta Update」：epoch 末尾用 20 个任务同时在「上一 epoch 技能」和「当前技能」下采样，按改进/退步/持续失败/稳定成功四类分组，由优化器写一段「长程指导块」到技能的一个 markup-fenced 保护区——这一区域 step 级 edit 改不到，epoch 改写后同样要过验证门。第七步是「Harness-Agnostic Deployment」：通过一个轻量 adapter，best_skill.md 可以在 direct chat（prepend 到 system）、Codex CLI（写入 SKILL.md）、Claude Code CLI（同样 SKILL.md 路径）三种 harness 中一致加载，使跨 harness 迁移成为可能。训练全程在离线阶段跑完，部署时只追加 300–2000 token 的纯文本，零额外模型调用。

技术新颖性体现在三处。第一是「文本学习率 + schedule」的形式化：$L_t$ 不是超参而是优化器可控的「步长」，支持 constant/linear/cosine/autonomous 四种调度，论文 Table 2 panel e 证明 constant（87.3/80.7/62.1）、cosine（87.1/77.5/61.3）、linear（87.2/72.9/62.9）三种 schedule 表现几乎打平，说明「有界」本身就是创新点，与具体 schedule 形式无关。第二是「markup-fenced 保护区」：epoch 级的 slow update 写入技能文档的一个 fenced 区域，step 级 patch 改不到，这把「快局部学习」与「慢全局经验」在物理上隔离，避免两者互相覆盖——这种空间隔离在普通 prompt 优化里是不存在的。第三是「adapter-only harness 抽象」：所有 harness-specific 差异（system prompt 注入、SKILL.md 路径、tool/trace 抓取）都封装在 adapter 里，optimizer 完全不知道自己在为哪个 harness 优化，这使得同一份 best_skill.md 可以零修改地在 Codex 和 Claude Code 间互换，并在 SpreadsheetBench 上拿到 +59.7 和 +43.6 的跨 harness 增益（Table 4b）。

独立分析几个值得改进的弱点。第一，**验证门控是「严格大于」但 selection 集合固定**，对多任务混合基准（如同时跑 QA 和 spreadsheet 的真实业务）容易在某个子任务上「过拟合 gate」——建议改成「分任务子集分别 gate」或采用多目标 Pareto 选择，类似 GEPA 的思路但加进 rejected buffer。第二，**rollout batch 来自 $D_{tr}$ 的均匀采样**，没有难度感知；对 OfficeQA 这种 24 步工具链任务，均匀采样会让简单样本稀释 gradient；可借鉴课程学习，按历史失败率上采样。第三，**「1–4 个 accepted edit」是结果而非约束**——这是验证集过滤后的「幸存者偏差」，并不能说明「只需要 4 个 edit」，实际 optimizer 每轮提出几十条；论文若能加一个「反事实：假如允许前 10 个 edit 全接受」实验，会更清楚验证 gate 究竟剪掉了多少有用更新。第四，**训练 token 成本随 benchmark 长度爆炸**（SearchQA 213.8M、DocVQA 188.2M tokens），可借鉴 active learning 让 reflection 只针对「模型不确定」的样本。第五，**adapter 抽象目前对 embodied 任务（ALFWorld）支持有限**，导致 harness 单元留空；可考虑把 ALFWorld 的 50 步 trajectory 也封装成统一 trace summary，让 harness-agnostic 真正落地。

作者在 Outlook 段提出四个方向：skill 库跨域共享基础设施、optimizer 侧 meta skill 跨 benchmark 复用、无 reward 或基于偏好的 validation gate 用于开放式任务、把优化好的 skill 蒸馏回模型权重作为「权重级适配的跳板」。基于论文成果可延伸的方向还包括：(1) 把 rejected-edit buffer 从「epoch 局部」升级为「全局」，让长程负反馈在跨 epoch 训练中也起作用，可能解决 OlympiadBench→Omni-MATH 这类「换 benchmark 就丢失经验」的问题；(2) 引入多目标 Pareto gate，同时优化「准确率」「输出格式合规率」「工具调用次数」等，把单目标 $r(s) \in [0,1]$ 换成向量，进一步向 GEPA 的多目标思路靠拢；(3) 把 $L_t$ 从「编辑条数」升级为「token 数」或「embedding 距离」，得到更连续的「步长」概念，为未来的收敛性分析打开门；(4) 把 optimizer 换成 on-policy 训练的 RL agent，让优化器本身随训练进化（meta-learning 思路）。

代码已开源在 https://aka.ms/SkillOpt，主要数据集（SearchQA、SpreadsheetBench、OfficeQA、DocVQA、LiveMathematicianBench、ALFWorld、OlympiadBench、Omni-MATH）均为公开可下载的学术基准，论文给出了 split_seed=42 的确定性 train/selection/test 切分。算力方面复现成本集中在 GPT-5.5 optimizer 的 API 调用上，按 Table 6 的 token 量粗估，单 benchmark 完整跑一次约 20M–200M tokens 量级，按前沿 API 定价折算 100–1000 美元/基准；6 基准 ×7 模型 ×3 harness = 126 个 cell 全跑一次需要数十万美元级 API 预算——这意味着中小团队难以完全复现 52/52 cell 的结果，但可以聚焦单 (基准, 模型) 对做 partial replication。复现难度低-中：adapter 接口定义清晰、best_skill.md 是纯文本可肉眼审计，但 optimizer 端的 reflection/merge/ranking prompt 模板论文里没完整给出，需要看代码；建议先用 Table 4 的 cross-harness transfer 实验（Codex→Claude Code SpreadsheetBench +59.7）做 sanity check，因为这是单一 benchmark 单一模型就能复现的最强信号。