← 返回 2026-07-08

SkillOpt-Lite：一行 Vibe 实现更快更好的智能体自进化 SkillOpt-Lite: Better and Faster Agent Self-evolution via One Line of Vibe

Yifei Shen, Bo Li, Xinjie Zhang 📅 2026-07-03 👍 30 2026-07-13 08:37
Agent Optimization File-Centric Design Self-Evolution Zeroth-Order Optimization
arXiv HuggingFace PDF

提出最小可行流水线，用文件系统工具替代复杂优化，加速智能体技能进化

前置知识

Zeroth-Order Optimization

零阶优化是一种不需要梯度信息的优化方法，通过函数值估计来寻找最优解。在离散空间中，它通过数值扰动 $s + \mu u$ 来评估目标函数 $f(s)$，其中 $\mu$ 是步长，$u$ 是随机搜索方向。常用的方法包括单点估计 $\hat{\nabla}f(s) \propto f(s + \mu u)u$、中心差分近似 $\frac{f(s+\mu u)-f(s-\mu u)}{2\mu}$，以及坐标下降 $f(s+\mu e_i)-f(s)$。在技能优化场景中，环境反馈（执行轨迹、错误日志、验证分数）充当标量预言机评估 $f(s)$。

本文的核心理论框架是将智能体技能训练映射到零阶优化，理解这一概念才能看懂作者如何将传统的连续优化算子类比到离散文本编辑空间，以及为什么去除了某些复杂组件。

PAC Learning and Algorithmic Stability

PAC（Probably Approximately Correct）学习理论提供了一种统计学习框架。在本文中，作者使用预期平均稳定性来分析泛化误差界：$\epsilon(S) \leq \hat{\epsilon}_D(S) + O(\beta_{exp} + \frac{\ln(1/\delta)}{N})$，其中 $\beta_{exp}$ 是稳定性系数，$N$ 是训练样本数。如果优化算法过度拟合特定样本异常（如硬编码分支或模仿局部环境变量），$\beta_{exp}$ 会增加导致泛化崩溃。引入独立验证集后，模型选择界的 $\beta_{exp}$ 项被完全移除，这就是验证门控的理论基础。

本文提出的三个核心原则中有两个来自 PAC 学习理论，理解这一概念才能明白为什么需要共识挖掘和独立验证，以及为什么现有方法违反验证协议会导致评估偏差。

File-Centric Philosophy

受 Unix 和 Claude Code "一切皆文件" 哲学启发，本文将所有智能体组件（技能文档、执行轨迹、配置脚本）都视为标准可编辑的文件系统实体。作者进行的先导实验表明，将每个执行轨迹隔离为独立文件并允许自主编码代理使用原始文件系统工具（如 ls、cat、grep）进行探索，单批次文件修改的性能可以超过完整 SkillOpt 流水线优化四个 epoch 的结果。这种设计将技能优化从黑盒函数查询转变为可解释的编程调试过程。

这是 SkillOpt-Lite 的设计哲学基础，也是它能够自然扩展到 Harness 优化的关键。理解这一点才能看懂为什么去除了 mini-batch 池化、慢更新衰减等复杂机制，改用直接文件系统操作。

研究动机

现有的智能体技能优化方法（如 SkillOpt）越来越依赖复杂的算法流水线，包含 mini-batch 树合并、文本学习率调度、拒绝编辑缓冲区等复杂机制。虽然这些方法在实验上获得了一些提升，但存在一个根本问题未被解决：什么是最小可行流水线，其中每个组件都有理论或实证必要性？现有框架的架构复杂性倾向日益严重，它们从经典优化中引入了复杂的机制，却没有解决一个基础问题。作者指出，传统零阶优化依赖对不可观测状态的盲目数值扰动，而智能体执行轨迹产生显式、语义丰富的执行轨迹，这两者之间存在关键概念分歧。现有方法如 Reflexion [9] 完全跳过动态验证，而 SkillCat [13]、SkillAdapter [11]、Trace2Skill [8] 则通过在训练失败实例的直接克隆或子采样训练集上执行门控来破坏验证边界。

本文的目标是本文的目标是建立一个最小可行的技能优化流水线，其中每个组件都由理论或实证必要性证明。具体而言，作者希望通过连接零阶优化、统计学习理论和系统工程来回答什么是最小可行流水线这个问题，并证明用原始文件系统工具替代复杂的优化机制可以实现更快收敛和更优性能。更进一步，作者希望将这个流水线封装到 VS Code Copilot 扩展中，使开发者能够通过一行斜杠命令 `/skillopt-loop rounds=10 batchsize=40 target=gpt5.4-nano` 触发技能优化，并证明这种以文件为中心的设计可以自然扩展到完整的 harness 优化（HarnessOpt），让轻量级模型通过环境协同设计超越前沿级模型。

与已有工作不同的是，本文的独特切入角度是将智能体技能训练形式化为零阶优化，并识别其独特的程序-编译器性质。虽然现有文献已经利用了类似零阶工具箱的组件，但作者发现了一个关键概念分歧：传统零阶优化在数值空间中定义决策变量，预言机只返回标量奖励 $f(s)$，而技能优化中每个 LLM 执行产生显式、结构化、语义丰富的轨迹，包含历史试验日志、中间规划理由和运行时错误消息。从这个角度看，技能优化从黑盒函数查询转变为语言中介的编程问题，技能库充当用自然语言编写的高级软件程序仓库，LLM 不仅作为评估器，还作为底层编译器和执行运行时，而生成的执行轨迹作为中间程序执行轨迹。基于 Claude Code 哲学和 PAC 学习，作者建立了三个收敛和泛化原则：基于文件系统的轨迹探索、共识属性挖掘和独立验证门控。

核心方法

SkillOpt-Lite 的整体思路是建立一个最小可行流水线，直接在磁盘上通过自主调试循环操作，而不是依赖复杂的优化理论拓扑。作者首先进行了一个动机实验：收集 GPT-5.4-nano 优化循环初始批次的原始执行轨迹，将它们存储为本地文本文件，然后部署 GitHub Copilot 仅通过原始文件系统工具自主探索这个目录，明确指令是诊断跨轨迹的系统故障模式并应用最小修改补丁直接到基础技能文件。关键的是，助手跳过了所有预定义的数学拓扑（如 SkillOpt 中使用的 mini-batch 切片或分层树归约算子），并在没有执行任何中间验证循环的情况下直接提交这些编辑。实验结果表明，在没有迭代循环的情况下，编码助手的单批次文件系统探索实现了实质性的性能提升。在 LiveMath 和 DocVQA 上，这种单批次未验证代理配置甚至超过了基线 SkillOpt 框架经历四个完整 epoch 迭代优化后的性能。基于这一发现，作者提出了 SkillOpt-Lite，它去除了 mini-batch 反思池、慢更新衰减和拒绝编辑缓冲区，改为直接在磁盘上通过自主调试循环操作。

SkillOpt-Lite 的核心创新点是将所有智能体组件视为标准可编辑的文件系统实体，并利用自主编码代理通过原始文件系统工具（如 ls、cat、grep）进行探索和编辑。这与现有方法的本质区别在于：传统方法将技能优化视为黑盒函数优化问题，需要复杂的梯度估计、方差减少、信任区域约束等机制；而 SkillOpt-Lite 将其视为语言中介的程序编译问题，执行轨迹作为可解释的调试反馈。作者提出的技能优化的苦涩教训是：随着基础 LLM 规模扩大，为抑制更新速度而设计的定制拓扑变得适得其反。授予代理原始 shell 工具直接检查原始日志文件持续优于重度工程化的基线。这种设计理念的转变使得 SkillOpt-Lite 能够移除 mini-batch 反思池、文本学习率调度、历史拒绝编辑缓冲区等冗余组件，实现更快收敛和更优性能。

方法步骤详情

SkillOpt-Lite 的工作流程包含四个步骤：1) 轨迹暂存：在每个批次执行冻结代理执行后，原始轨迹（包括规划理由、环境状态和任务分数）直接转储到磁盘上作为文本文件，每个轨迹作为独立日志文件存储而不是聚合到结构化 mini-batches 中。2) 轨迹探索：系统利用显式文件系统实用工具在约束的 token 预算下导航工作区，执行自主 shell 命令来列出目录、聚类统一任务失败并选择高杠杆文件进行详细检查，而不是将整个原始日志语料库加载到模型上下文窗口。3) 共识挖掘和最小编辑：配备文件读取能力的优化器模型直接从目录中读取这些轨迹文件，发现跨任务不变量和共享失败模式，并遵循最小更新原则生成紧凑代码差异或补丁来解决诊断的错误。4) 验证门控：应用提出的补丁构建候选技能库 $\tilde{S}$，立即在独立验证集上评估以获得无偏实证分数，如果候选技能改进当前基准分数则被接受为活动技能 $S_{t+1}$，如果还超过历史最佳分数则永久覆盖磁盘上的生产技能文件 best_skill.md，被拒绝的更新直接分流到历史日志进行归档。

技术新颖性

SkillOpt-Lite 的技术新颖性体现在三个层面：理论层面，作者首次将智能体技能训练系统映射到零阶优化框架，建立了结构类比表，将单轨迹批评对应到 1 点梯度估计，对比诊断反映中心差分近似，故障隔离编辑镜像沿基向量 $e_i$ 的坐标下降，编辑预算和拒绝缓冲区实例化信任区域半径 $B$ 和控制变量 $c$，同时识别了关键概念分歧：传统零阶依赖对不可观测状态的盲目数值扰动，而智能体执行产生显式、语义丰富的执行轨迹。设计层面，作者建立了三个核心设计原则：基于文件系统的轨迹探索（来自 Claude Code 哲学的先导实验）、共识属性挖掘（来自 PAC 学习理论，过度拟合单试验异常会增加稳定性系数 $\beta_{exp}$ 导致泛化崩溃）、独立验证门控（PAC 边界显示独立验证集从泛化误差中移除 $\beta_{exp}$）。工程层面，作者将整个流水线封装到 VS Code Copilot 扩展中，开发者可以通过一行斜杠命令触发完整优化循环，并证明了这种以文件为中心的设计可以自然扩展到完整 harness 优化，在 SpreadsheetBench 上让 GPT-5.4-nano 达到 0.7758 准确率，超过标准 SkillOpt 优化的 GPT-5.5 的 0.7620。

Structural comparison of the optimization pipelines.
Figure 3: Structural comparison of the optimization pipelines.

实验结果

在六个基准测试上的实验结果表明，SkillOpt-Lite 在推理密集型任务（LiveMath 和 Spreadsheet）上展示了实质性性能提升。在 LiveMath 上，GPT-4o 绝对准确率从 31.2 提升到 58.8（+27.6 分），GPT-5.5 从 36.6 提升到 73.6（+37.0 分）。在 Spreadsheet 上，简化流水线明显优于完整 SkillOpt 框架，例如 GPT-5.4 上 79.4 vs 61.5 分。机制上，这种差异是因为基线框架依赖 mini-batch 反思池，这是一个平均多个不同文本更新并因此在离散语言空间模糊隐式梯度信号的操作。相反，对于以开放文本检索或物理环境接地为主的任务（SearchQA、ALFWorld 和 OfficeQA），两个框架之间的性能差异微乎其微，通常在 +0.1 到 +1.5 分窗口内波动。收敛速度分析显示 SkillOpt-Lite 展示更陡峭的初始优化轨迹，在复杂域如 LiveMath-GPT-5.5 和 LiveMath-GPT-5.4-nano 中，SkillOpt-Lite 在初始 2 到 3 步内获得实质性性能提升。HarnessOpt 在 SpreadsheetBench 上的评估显示，仅优化 harness 代码库显著提升性能，将 GPT-5.4-nano 从 0.6619 提升到 0.7758，超过在基础 harness 下完整 prompt 优化的更大 GPT-5.5 模型（SkillOpt，0.7620）。最佳结果仅在同时优化两个组件时实现，GPT-5.4 达到 0.8505，GPT-5.5 达到 0.8577。

Mapping Between Zeroth-Order Optimization Operators and LLM/Agent Reflection Paradigms
Table 1: Mapping Between Zeroth-Order Optimization Operators and LLM/Agent Reflection Paradigms
Main experimental results across varying model scales.
Table 2: Main experimental results across varying model scales.
Optimization results on SpreadsheetBench across different LLM baselines.
Table 3: Optimization results on SpreadsheetBench across different LLM baselines.
The overall performance profile and optimization velocity of SkillOpt-Lite.
Figure 1: The overall performance profile and optimization velocity of SkillOpt-Lite.
Convergence curve comparison between SkillOpt (red curve with circles) and SkillOpt-Lite (blue curve with squares) across various tasks and model scales over 10 optimization steps.
Figure 4: Convergence curve comparison between SkillOpt (red curve with circles) and SkillOpt-Lite (blue curve with squares) across various tasks and model scales over 10 optimization steps.
查看结构化数据
任务指标本文基线提升
LiveMath accuracy 73.6 (GPT-5.5, SkillOpt-Lite) 64.8 (GPT-5.5, SkillOpt) +8.8 分
LiveMath accuracy 55.7 (GPT-5.4-nano, SkillOpt-Lite) 30.3 (GPT-5.4-nano, SkillOpt) +25.4 分
Spreadsheet accuracy 79.4 (GPT-5.4, SkillOpt-Lite) 61.5 (GPT-5.4, SkillOpt) +17.9 分
ALFWorld accuracy 81.3 (GPT-5.4-nano, SkillOpt-Lite) 71.8 (GPT-5.4-nano, SkillOpt) +9.5 分
SpreadsheetBench accuracy 0.7758 (GPT-5.4-nano, HarnessOpt w. skill) 0.7620 (GPT-5.5, SkillOpt) +0.0138，轻量级超越更大模型
SpreadsheetBench accuracy 0.8577 (GPT-5.5, HarnessOpt w. skill) 0.7972 (GPT-5.5, SkillOpt-Lite) +0.0605

局限与改进

作者承认的局限性包括：首先，对于语义密集型任务（SearchQA、ALFWorld、OfficeQA），SkillOpt-Lite 的性能提升有限，仅在与基线相差 +0.1 到 +1.5 分的窗口内波动。这是因为这些任务需要广泛的语义覆盖而不是深度的多步算法执行，底层模型在这些浅层文本动作域快速饱和可用优化边际。其次，在 Spreadsheet 基准上的先导实验表明，优化后的技能可能低于其初始基准性能（从 66.2 降至 63.4），这展示了嵌入在形式优化流水线中的闭环验证机制的必要性。第三，虽然作者提出了 HarnessOpt 框架，但在大多数六个数据集上，现有基础设施已经足够或 harness 优化产生最小变化，因此评估仅集中在 SpreadsheetBench 作为代表性案例研究，这可能限制了框架的泛化验证。从我的观察来看，另一个潜在局限性是方法对高质量执行轨迹的依赖，如果初始批次的轨迹质量较差或缺乏多样性，文件系统探索可能无法发现有意义的跨任务不变量。

独立分析的弱点

从独立分析的角度看，SkillOpt-Lite 存在几个具体弱点可以改进方向：第一，对语义密集型任务的提升有限表明该方法可能更适合逻辑和算法密集型任务，而非开放域问答或环境交互任务。改进方向可以是引入专门的语义层或混合流水线，对不同任务类型使用不同优化策略。第二，在 Spreadsheet 基准上的性能退化（从 66.2 降至 63.4）暴露了验证门控的关键性，但作者没有详细分析退化的原因和如何预防。改进方向可以包括更鲁棒的退化检测机制、渐进式回滚策略或元学习来预测哪些编辑可能导致退化。第三，虽然作者声称 HarnessOpt 可以泛化，但仅在单一数据集上评估，其他五个数据集的基础设施已经足够的声明需要更多验证。改进方向应该是在更多样化的任务类型上评估 HarnessOpt，特别是需要复杂工具编排或多模态交互的场景。第四，该方法依赖高质量的执行轨迹，但作者没有讨论如何处理轨迹噪声、异常值或对抗性攻击。

未来方向

作者提出的未来研究方向包括四个方向：1) 前沿模型蒸馏的技能优化：利用技能优化细化跨细粒度能力的教师代理为生成高质量蒸馏语料库提供了结构化框架，但设计快速、计算高效的评估协议用于数据选择是关键挑战。2) 自动化优化的 harness 模板数据库：扩展 harness 优化需要鲁棒的参考框架，开发精心策划的最小 harness 模板库对于为编码代理提供有效结构先验至关重要，同时需要针对互联网增强或多模态接地执行域扩展安全协议。3) 作为持续学习的 harness 进化：直接在非参数层操作（将执行 harness 和领域技能视为进化参数）为终身学习提供了有前途的替代方案，主要挑战是在扩展时间范围内独立演化的不同谱系的 harness 的结构对齐和融合。4) 扩展优化到基础模型训练：这个优化流水线可以自然扩展到模型训练阶段，使用相同的三支柱架构建立综合基准来压力测试模型边界。基于成果的可延伸方向包括多智能体协同优化、跨域技能迁移、实时在线优化、人机协同进化。

复现评估

根据论文信息，作者提供了开源代码：https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite。实验配置遵循 SkillOpt 建立的评估协议，使用 SearchQA、Spreadsheet、ALFWorld、LiveMath、DocVQA 和 OfficeQA 六个基准测试。对于 SkillOpt 和 SkillOpt-Lite 使用相同的优化器模型，GitHub Copilot 部署为基线编码代理。对于 LiveMath 和 OfficeQA，作者调整了训练-验证-测试分割从 2:1:7 到 2:2:6 以缓解验证方差。然而，论文没有提供关键的复现细节：1) 使用的具体 GPU 资源和计算成本。2) 每次优化的实际运行时间和 token 消耗。3) 超参数（如批次大小、步长 $\mu$、允许列表约束的具体实现）的完整配置。4) 数据集的精确分割和随机种子设置。5) VS Code 扩展的安装和使用说明。虽然作者声称代码开源，但截至论文撰写时（2026 年 7 月），GitHub 链接可能尚未完全准备就绪或缺少完整文档。中等难度复现者可以尝试，但需要较强的系统工程能力和对智能体框架的熟悉。

论文图表

Empirical evaluation of single-batch coding agent exploration versus multi-epoch skill optimization.
Figure 2: Empirical evaluation of single-batch coding agent exploration versus multi-epoch skill optimization.

该柱状图比较了 SkillOpt 四个 epoch 与编码代理单个批次的性能。四个基准测试展示了三种配置：初始技能（灰色）、SkillOpt 四个 epoch（蓝色）、Copilot 单个批次（绿色）。结果令人惊讶：在 LiveMath 上，Copilot 单批次（58.7）超过 SkillOpt 四个 epoch（30.3）近两倍；在 DocVQA 上也是如此（83.7 vs 30.2）。但在 Spreadsheet 上，Copilot 性能退化（29.9 vs 51.6）。

这张图是论文的关键动机实验，直接展示了技能优化的苦涩教训：单批次文件系统探索可以匹配或超越多 epoch 复杂优化。这为 SkillOpt-Lite 的设计提供了实证基础，但也强调了验证门控的必要性（Spreadsheet 上的退化）。