SkillGrad：像梯度下降一样优化代理技能 SkillGrad: Optimizing Agent Skills Like Gradient Descent
将梯度下降思想引入技能优化，通过诊断、动量和层感知补丁迭代改进LLM代理技能
前置知识
Agent Skills
Agent Skills是结构化文件包，包含可重用的程序化知识，将LLM代理适应特定领域。与扁平提示不同，技能有三层结构：L1元数据(YAML)决定激活时机，L2主体(SKILL.md)总是加载，包含工作流程和指导，L3资源条件加载，用于存储复杂案例和示例。
本文的核心研究对象就是技能包，理解其三层结构对于理解SkillGrad的层感知更新机制至关重要。
Gradient Descent
梯度下降通过计算损失函数关于参数的梯度来确定更新方向。标准形式为$\theta_{t+1} = \theta_t - \eta v_t$，动量机制$v_t = \gamma v_{t-1} + g_t$通过累积历史梯度方向稳定更新过程，减少震荡并加速收敛，强化重复出现的方向。
SkillGrad将梯度下降的概念框架映射到技能优化，参数对应技能包，损失对应任务执行证据，梯度对应文本诊断，动量对应模式记忆，理解这种类比是掌握本文框架设计哲学的基础。
Contrastive Learning
对比学习通过比较正样本和负样本来学习区分性表示。在本论文中，对比性诊断指当当前技能成功但初始技能失败时，分析两种轨迹差异来识别成功的关键行为。这利用失败轨迹的纠正信号和对比性成功轨迹的保持信号，形成正负结合的学习证据。
对比性诊断是SkillGrad区别于以往仅关注失败的方法的关键创新，理解这一点有助于把握本文在损失证据设计上的独特贡献。
研究动机
现有的Agent技能存在严重的质量问题。SkillsBench研究显示，自动生成的技能质量远低于专家编写的技能，某些情况下甚至会降低代理性能，比不使用任何技能更差。这个问题不仅限于自动生成，任何固定的技能包都可能遗漏任务特定的边缘情况、与目标任务分布错位，或者编码了关于工具和工作流的脆弱假设。在电子表格操作、文档编辑、代码库维护等程序化密集型领域，代理必须重复遵循特定工作流程、正确使用专门工具并处理重复出现的边缘情况，但现有方法无法系统性地改进这些技能。
本文的目标是本文的核心目标是将技能视为可优化的工件，在初始化后通过系统性的方法进行改进。具体而言，作者希望提出一个受梯度下降启发的框架，能够将任务执行轨迹转化为结构化的文本更新信号，通过迭代优化提升技能质量，使其在保持通用性的同时获得更好的领域特定性能。
与已有工作不同的是，本文的独特切入角度是建立了梯度下降与技能优化之间的概念映射。以往的工作如EvoSkill采用基于失败分析的更新策略和基于验证的选择，Trace2Skill采用离线轨迹蒸馏策略，而SkillGrad引入了三个关键区别：(1)同时利用失败轨迹和对比性成功轨迹作为损失证据，(2)通过语义动量机制累积跨迭代的重复模式，(3)采用层感知的补丁策略，不仅决定更新什么知识，还决定知识应该存在于技能结构的哪一层。这种方法将技能优化从启发式反思提升为原理性的优化框架。
核心方法
SkillGrad的整体思路是将梯度下降的优化循环映射到技能优化场景。首先将结构化技能包定义为可优化参数，通过在训练任务上执行技能获得轨迹级损失证据。失败轨迹揭示缺失或错误的指导，对比性成功轨迹揭示当前技能已学会并应该保持的行为。诊断器将这些观察转化为任务级文本更新信号，类比于梯度。动量代理累积重复模式到持久记忆并编写当前批次的紧凑覆盖层，最后补丁器应用层感知编辑获得下一轮技能。这个循环在概念上镜像了梯度下降的运行结构：评估当前参数、从观察结果推导更新证据、累积重复方向、应用更新获得下一个参数。
核心创新点在于建立了梯度下降与技能优化的完整概念映射，并实现了三个关键技术突破。首先，损失证据设计不仅包含失败轨迹，还包含对比性成功轨迹，即当当前技能成功但初始技能失败时，保存两种轨迹的对比证据。这种设计克服了仅使用二元损失$L_{bin}(S; T) = 1 - R(S; T)$的稀疏性问题，即使离散预测正确也不意味着零学习信号。其次，文本动量机制不执行算术累积或衰减，而是通过跟踪重复的语义方向来优化器状态角色，将噪声的局部信号转化为更稳定的更新上下文。最后，层感知补丁策略不仅决定什么行为应该改变，还决定改变应该属于技能层级结构的哪个位置，确保学习内容保持有序以便未来执行能够检索和应用。
方法步骤详情
SkillGrad的完整流程包含六个步骤：(1)参数定义，将技能表示为三元组$S = (H, B, Q)$，其中H是元数据头部，B是总是加载的SKILL.md主体，Q是条件加载的资源集合。(2)执行与损失证据收集，给定当前技能$S_t$和小批量任务，执行器产生结果$r_t(T)$和轨迹$\tau_{t,i}$。损失证据定义为$E_t(T) = \{\tau_t^-, c_t\}$当$r_t(T) = 0$，或$E_t(T) = \{\tau_t^+, \tau_0^-, c_0\}$当$r_t(T) = 1$，其中$\tau_t^-$和$\tau_t^+$是当前技能下的失败和成功轨迹，$\tau_0^-$是初始技能的失败轨迹。(3)诊断生成，诊断器$Diag(S_t, T_{t,i}, e_{t,i})$产生任务级诊断$d_{t,i}$，这是基于证据的更新信号而非评分或总结，识别哪些执行行为对结果负责并描述应该修复或保持什么可重用行为。(4)动量更新，维护持久模式记忆$M_t$和当前覆盖层$O_t$，通过$M_t, O_t = Momentum(M_{t-1}, D_t, S_t)$识别哪些诊断机制是新的、重复的、已覆盖或仍未解决的。(5)参数更新，补丁器应用$S_{t+1} = Patch(S_t, D_t, M_t, O_t)$，更新是层感知的，不仅决定更新什么模式，还决定更新应该属于技能层级结构的哪个位置。(6)迭代优化，将编辑后的技能作为下一批执行的参数，形成闭环，每次更新改变执行器未来的行为分布，进而改变后续迭代中观察到的损失证据和诊断。
技术新颖性
技术新颖性体现在三个层面：在损失证据设计层面，引入对比性成功轨迹作为正样本，克服传统失败驱动方法的局限性，类比于梯度下降中正确预测仍接收非零交叉熵损失的直觉；在优化机制层面，提出语义动量概念，通过模式识别而非算术运算实现跨迭代的信号累积，这在概念上对应于数值动量但适合文本工件；在更新策略层面，层感知补丁考虑了技能的三层结构特性，根据知识的适用频率和通用性决定其存储位置，这是对扁平提示优化的本质区别。此外，本文在评估设计上也有创新，使用相同的初始化技能、训练任务、骨干模型和保留分割来公平比较不同方法，并对LLM生成和第三方来源的初始技能分别测试，证明框架的通用性。
实验结果
SkillGrad在两个数据集上使用两个骨干模型、从两种初始技能来源出发的实验中都取得了最佳性能。在SpreadsheetBench Verified上使用GPT-5.4和LLM生成的初始技能，SkillGrad达到71.11%准确率，比最强的训练基线EvoSkill(68.06%)提升3.05个百分点，比平均训练基线提升4.44个百分点。使用GPT-4.1时提升更为显著，SkillGrad达到54.17%，而Trace2Skill和EvoSkill均为37.22%，提升幅度达16.95个百分点。第三方初始技能也显示相同趋势，SkillGrad在GPT-5.4上达到69.44%，在GPT-4.1上达到45.83%。跨域迁移到WikiTableQuestions时，SkillGrad同样取得最佳性能，LLM生成初始化下GPT-5.4达到82.38%，GPT-4.1达到73.65%。消融实验证实两个核心组件的贡献：移除动量使准确率从72.50%降至65.83%(下降6.67个百分点)，移除对比性诊断使准确率降至68.33%(下降4.17个百分点)。训练成本分析显示，十次迭代的完整SkillGrad运行平均成本为$6.40 ± 0.38，每轮迭代成本从约$0.35逐渐增长到约$0.85，增长主要来自动量和补丁阶段。超参数分析表明，默认批量大小4和迭代预算10在每轮更新证据量和更新频率之间达到良好平衡，批量大小6虽提供更多证据但需要将更广泛诊断压缩到单次编辑中，性能提升有限(70.8%)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SpreadsheetBench Verified (GPT-5.4, LLM-gen) | Accuracy (%) | 71.11 ± 1.73 | EvoSkill 68.06 ± 0.48 | +3.05 |
| SpreadsheetBench Verified (GPT-4.1, LLM-gen) | Accuracy (%) | 54.17 ± 3.54 | Trace2Skill 37.22 ± 3.54 | +16.95 |
| SpreadsheetBench Verified (GPT-5.4, Third-party) | Accuracy (%) | 69.44 ± 0.48 | Trace2Skill 63.89 ± 0.48 | +5.55 |
| WikiTableQuestions (GPT-5.4, LLM-gen, OOD) | Accuracy (%) | 82.38 ± 1.78 | Trace2Skill 79.05 ± 1.35 | +3.33 |
| WikiTableQuestions (GPT-4.1, LLM-gen, OOD) | Accuracy (%) | 73.65 ± 2.50 | EvoSkill 53.33 ± 7.50 | +20.32 |
局限与改进
作者承认的主要局限性包括：(1)评估主要集中于以电子表格为中心的任务，WikiTableQuestions仅作为跨域迁移设置，未来工作需要测试框架是否适用于其他技能领域如Web自动化、文档编辑和代码库维护；(2)当前分析主要是经验和定性的，更正式的理论分析将有助于加强Agent技能优化与经典优化之间的联系；(3)文本更新是非单调的，额外编辑可能开始与早期一般规则进行权衡，因此报告固定迭代预算而不是在评估后选择最佳检查点；(4)训练成本相对较高($6.40)，每轮迭代需要完整的LLM代理前向通过。此外，本文未讨论技能更新的可解释性问题，虽然诊断是文本形式，但层感知补丁的决策过程可能不透明，这对于需要可审计性的企业应用可能是障碍。框架假设技能结构是固定的三层，如果某些领域需要不同的组织方式，方法可能需要适应性调整。
独立分析的弱点
独立分析的弱点包括：(1)计算效率问题，每次迭代需要完整的代理执行轨迹，对于大规模任务集合成本高昂，未来可以引入更高效的证据采样策略或并行执行机制；(2)诊断质量依赖于骨干LLM的理解能力，如果诊断器错误识别失败原因，可能导致错误的技能更新，可以引入验证机制或集成多个诊断器的结果；(3)层感知决策缺乏显式标准，补丁器需要隐式判断知识应该存储在哪一层，容易产生不一致的决策，可以引入更明确的指导原则或分类模型辅助决策；(4)优化过程可能过拟合训练任务，虽然WikiTQ结果展示了跨域能力，但更全面的域泛化评估仍然是必要的，可以引入正则化机制或域对抗训练；(5)框架假设初始技能存在，如果初始技能质量极差或完全不相关，优化可能陷入局部最优，可以结合技能生成和优化进行联合训练。
未来方向
作者提出的未来方向包括扩展到其他技能领域如Web自动化、文档编辑和代码库维护。基于本文成果，可以延伸的研究方向包括：(1)形式化文本诊断和动量状态产生稳定技能更新的理论条件，建立Agent技能优化的理论基础；(2)探索更复杂的优化器类比，如Adam-style的自适应学习率机制，根据不同类型更新信号的历史表现调整其影响权重；(3)研究技能版本控制和回滚机制，当优化导致性能下降时能够快速恢复；(4)开发跨技能迁移学习机制，将一个领域优化得到的模式迁移到相关领域；(5)引入用户反馈循环，让人类专家可以干预或验证关键更新，形成人机协同的技能优化过程；(6)探索技能的可组合性，将多个优化后的技能按需组合以处理更复杂的任务。
复现评估
论文提到代码将在https://github.com/wwwhy725/SkillGrad更新，但截至论文发表时尚未完全开源。实验使用公开数据集SpreadsheetBench Verified和WikiTableQuestions，这两个数据集都有标准评估协议，便于复现。模型使用GPT-5.4和GPT-4.1作为骨干LLM，这两个模型需要付费API访问，可能增加复现成本。训练配置明确：随机选择40个SpreadsheetBench Verified任务作为训练集，批量大小为4，训练10次迭代，使用固定保留的测试分割进行评估。消融实验、超参数分析和成本分析都提供了足够细节，有助于复现实验结果。主要复现难点在于计算成本高昂，完整的十次迭代SkillGrad运行平均成本为$6.40，且需要三次不同随机种子的重复实验以获得标准差。此外，实验需要完整的LLM代理执行环境，包括电子表格操作能力，这可能需要特定的工具集成。总体而言，论文提供了相对充分的实现细节，但完整的复现仍需要相当的算力和API成本投入。
论文图表
