SkillLearnBench：面向真实任务智能体技能生成的持续学习方法基准 SkillLearnBench: Benchmarking Continual Learning Methods for Agent Skill Generation on Real-World Tasks
首个评估智能体技能持续学习的基准，含20个真实任务和三级评估框架
前置知识
LLM智能体（LLM Agent）
基于大语言模型驱动的自主代理系统，能在循环中调用工具、阅读环境反馈、规划多步动作以完成复杂任务。本文的"解题智能体"在容器化沙箱中最多运行100轮，使用任务专属工具完成任务。
理解智能体如何在多步交互中工作，才能明白技能作为可复用知识的作用：技能让智能体避免每次都从零试错，直接复用过去的成功流程。
智能体技能（Agent Skill）
Anthropic 2025年提出的结构化Markdown文档，编码任务的激活条件、执行步骤与领域知识，已成为Claude、Cursor、GitHub、OpenAI Codex等平台共同采纳的开放标准。技能属于非参数化的过程记忆。
技能是本文研究的核心对象：持续学习的目标就是不断生成新技能并加入技能库，从而让智能体获得可重用的程序性能力。
持续学习（Continual Learning）
传统上指按任务序列更新模型参数、避免灾难性遗忘的范式；本文采用的则是"非参数化"形式——不更新权重，而是把经验固化为可重用的技能文档，形成"生成-存储-复用"循环。
这是论文的方法学根基：评估的不是参数如何变化，而是技能库如何演化，以及演化后的技能能否稳定提升下游任务表现。
过程记忆（Procedural Memory）
认知科学中指"如何做"的记忆，对应本文中的技能。最近的综述（Wu & Zhang 2026）将技能生命划分为获取、表征、调用、修正四阶段，本文聚焦其中的"获取"阶段。
帮助定位本文的贡献：在技能生命周期中，本文只评估从任务描述自动生成技能这一最难、最有商业价值的一环。
研究动机
近年来，"技能（skill）"已成为业界让LLM智能体处理定制化任务的事实标准，Claude、Cursor、GitHub、OpenAI Codex、OpenClaw等平台都已采纳。然而预制技能对持续遇到新任务的智能体而言远远不够——必须能从执行经验中自动生成新技能并扩充到技能库。这个"生成-存储-复用"循环本质上是一种非参数化的持续学习。已有方法（SkillsBench的一次性、SkillRL的自反馈、Anthropic的Skill Creator流水线等）虽各有主张，却各自在不同的设置下评估，没有任何统一基准可以受控比较。SkillsBench（Li et al. 2026）发现一次性生成平均无收益；LangChain报告有技能时编码智能体任务完成率从9%提升到82%，但仍以"有/无技能"和二值pass/fail作为评估口径，掩盖了技能为何失败的根因。
本文的目标是本文的目标是构建SkillLearnBench——首个专门评估持续学习技能生成方法的基准。它包含20个经过技能依赖性验证的任务（覆盖6大类、15个子领域、共100个实例），并设计三级评估框架：(1) Level 1 评估技能文档本身的质量（覆盖度、可执行性、安全性）；(2) Level 2 评估智能体使用技能时的执行行为（轨迹对齐、技能使用率）；(3) Level 3 评估最终任务结果（准确率、token成本）。
与已有工作不同的是，已有基准要么只看"用技能vs不用技能"的二值结果，要么只测单个方法的单个维度，都无法诊断失败究竟源自技能内容本身、执行偏差还是任务不匹配。SkillLearnBench的独特切入角度是"把持续学习当作评估对象而非评估手段"：固定解题智能体（Claude Sonnet 4.6）后，唯一变量是不同方法生成的技能，由此可直接归因到方法层面。同时引入"用六种不同LLM当生成器、解题器恒定"的对照设计，揭示生成器选择对结果的影响可能大于方法本身，这是以往工作未系统考察的角度。
核心方法
SkillLearnBench把"持续学习"具象化为"给定任务描述和一个种子实例，生成一个可重用技能集"。整体流程分三层：先做任务集的构造与技能依赖性验证（确保没有技能时通过率<50%，有人类技能时必须可解），再设计三级评估指标，最后固定Claude Sonnet 4.6作为解题智能体，在100轮的容器化沙箱中执行实例，用GPT-5-mini作为LLM裁判打分。直觉上，"好技能"应满足三个性质——内容完整、可被智能体识别并调用、能真正提升准确率，这三者缺一不可。
本文相对已有工作的本质区别有两点。第一是"过程可分级的评估"：以往基准只回报最终pass/fail，SkillLearnBench把技能使用链条切成技能内容→执行轨迹→任务结果三段，每段单独打分，失败时可定位到具体环节。第二是"受控的横向比较"：以往方法各自报告，缺少统一设置下的对照；本文固定解题器、固定评估流程，仅在技能生成阶段更换方法和LLM，使得方法间的差异可归因。代表性创新点是发现"技能使用率"是与覆盖率同等重要的瓶颈——Teacher Feedback的覆盖率最高（40.12%）但使用率最低（60.20%），导致最终准确率（27.47%）反而低于One-Shot。
方法步骤详情
整体方法分四步。**任务构造**：从Ling et al. 2026的社区技能分类法选6大类15子领域；17任务改编自SkillsBench并改造以满足技能依赖条件，3任务（schedule-planning等）全新设计。**技能依赖性验证**：对每个实例q，无技能时跑R=10次要求通过率$\alpha \le 0.5$；有技能时验证至少一次通过。**多实例构造**：每任务2–6个实例（合计100），变化参数保持核心结构不变，测试可重用性。**三级评估**：Level 1由GPT-5-mini裁判评覆盖度（与从人类技能+oracle轨迹抽取关键点的匹配率）、可执行性（完整性/确定性/一致性/可推广性四维平均）、安全性（六类风险反向分）；Level 2评执行轨迹的关键点召回、步骤顺序、完成度与技能使用率；Level 3用确定性验证器给pass/fail准确率，并统计解题token消耗。
技术新颖性
技术新颖性体现在三方面。其一，提出"过程可分级"的技能评估范式，把已有基准的二元pass/fail拆成内容质量/执行行为/最终结果三层，使得失败原因可被精确归因。其二，技能依赖性验证协议——无技能时通过率<50%、有人类技能时必须可解——是此前基准没有的硬约束，确保每个任务都真正是"技能决定成败"的。其三，"双LLM轴"实验设计：生成LLM（6个：Claude Haiku 4.5/Sonnet 4.6/Opus 4.6、Gemini 3.1 Flash Lite/3 Flash/3.1 Pro）作为变量，解题LLM（Claude Sonnet 4.6）固定，首次系统揭示了"更强LLM并不生成更好技能"的反直觉现象，挑战了"scaling就能解决问题"的假设。
实验结果
**整体结果**（表2）：无技能10.17%，人类74.50%，四种方法为One-Shot 30.44%、Self Feedback 31.08%、Teacher Feedback 27.47%、Skill Creator 27.33%，最佳仅填平32.5%差距。**方法与LLM强耦合**：Teacher Feedback在Haiku上34.00%最佳，One-Shot在Sonnet 4.6上38.83%最佳，Skill Creator在Gemini 3 Flash上38.50%最佳；更强LLM不必然更好。**按类别**（表3）：Software Engineering提升最大（Self Feedback 39.33%），Content & Creative反而退步（16.67%）。**自反馈导致漂移**（图4）：4轮迭代中覆盖度持平、轨迹对齐下降、准确率先升后跌；Teacher Feedback在外部引导下三项均单调上升。**技能使用率是新瓶颈**：Teacher Feedback覆盖率最高40.12%但使用率最低60.20%，最终准确率反而垫底，揭示智能体会"忽略"难采纳的技能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SkillLearnBench综合（20任务/100实例/6类） | 任务准确率（%） | One-Shot 30.44 / Self Feedback 31.08 / Teacher Feedback 27.47 / Skill Creator 27.33 | 无技能 10.17 | Self Feedback最佳，相对无技能提升+20.91pp，但仅达到人类技能74.50%的41.7% |
| SkillLearnBench综合 | 解题token成本（越低越好） | One-Shot 461K / Self Feedback 390K / Teacher Feedback 528K / Skill Creator 406K | 无技能 727K / 人类技能 590K | Self Feedback比人类技能少200K token（节省34%），且所有方法都低于无技能基线 |
| SkillLearnBench综合 | 技能覆盖率（Level 1，%） | One-Shot 37.26 / Self Feedback 36.63 / Teacher Feedback 40.12 / Skill Creator 41.12 | 人类技能 92.77 | Skill Creator最佳覆盖率仍只有人类技能的44%，说明内容完整性差距巨大 |
| SkillLearnBench综合 | 技能使用率（Level 2，%） | One-Shot 70.99 / Self Feedback 66.90 / Teacher Feedback 60.20 / Skill Creator 84.47 | 人类技能 87.67 | Skill Creator最接近人类水平（84.47 vs 87.67），但其覆盖率最低，呈现'高调用低内容'的劣势 |
| Software Engineering类（5任务） | 任务准确率（%） | One-Shot 36.44 / Self Feedback 39.33 / Teacher Feedback 38.00 / Skill Creator 34.67 | 无技能 8.00 / 人类技能 81.33 | Self Feedback提升+31.33pp，是六类任务中绝对增益最大者 |
| Content & Creative类（3任务） | 任务准确率（%） | One-Shot 23.33 / Self Feedback 16.67 / Teacher Feedback 30.00 / Skill Creator 14.44 | 无技能 0.00 / 人类技能 66.67 | Teacher Feedback提升+30pp最大；但Self Feedback（16.67）和Skill Creator（14.44）甚至低于One-Shot |
局限与改进
**作者承认的局限**：(1) 任务规模有限——20个任务、100个实例虽然跨6大类15子类，但仍小于工业级基准，统计显著性和泛化性可能受影响；(2) 评估LLM裁判为单一模型（GPT-5-mini），可能存在裁判偏差；(3) 持续学习迭代轮数有限（Self Feedback K=2、Teacher Feedback K=3），更深的迭代可能揭示不同模式；(4) 仅考察了4种方法和6种生成LLM，无法穷举该领域。**自观察到的局限**：(1) "技能依赖性验证"用$\alpha=0.5$作为门槛，相对宽松，可能让部分本可无技能解决的任务被误判为"技能依赖"；(2) Level 1的覆盖度评分依赖LLM裁判从人类技能中抽取关键点，这本身就存在循环依赖——如果人类技能写得不好，参考点就不准；(3) 实验未考察"技能库积累"场景，即多任务连续学习时技能之间是否会互相干扰或冗余，而本文每个任务独立生成技能，没有模拟真实持续学习的时间维度。
独立分析的弱点
**弱点1：内容与使用率割裂**。Teacher Feedback覆盖率最高（40.12%）但使用率最低（60.20%），说明外部指导生成的技能"看起来完整"却难以被智能体采纳。改进方向：在生成阶段加入"调用友好性"约束，要求技能包含明确触发关键词与简短frontmatter。**弱点2：自反馈的递归漂移**。Self Feedback在4轮后准确率显著下降，没有外部信号会自我强化错误模式。改进方向：引入"外部锚定"机制，如调用工具验证（Anthropic Skill Creator的validation阶段），或用弱外部裁判打断循环。**弱点3：开放式任务上技能反成束缚**。Content & Creative类上Self Feedback（16.67%）甚至低于One-Shot（23.33%），固定模板限制了开放创作。改进方向：做条件路由，对开放式任务生成"启发式清单"而非"步骤化SOP"。**弱点4：方法与LLM强耦合**。没有方法在所有LLM上最优，实际部署必须做方法×LLM网格搜索。改进方向：开发与生成器无关的"技能骨架"，使技能质量对生成器差异更鲁棒。
未来方向
**作者指出的方向**：(1) 让智能体在执行中更可靠地采纳生成技能——通过改进技能的可发现性、调用接口或显式触发条件；(2) 让技能内容更接近任务核心逻辑——通过任务级关键点归纳、跨实例泛化约束，避免"形式完整但内容空泛"。**基于结果的延伸方向**：(1) **多任务累积持续学习**：当前每个任务独立生成技能，未来可考察智能体连续面对多个任务时，技能库的增长、冗余消除、跨任务知识迁移等，这是真正"持续学习"的标志；(2) **技能编辑与版本化**：参照传统软件工程，给技能引入diff、版本号、依赖管理，允许多个技能版本共存而非覆盖式更新；(3) **学习曲线建模**：沿用Self Feedback的迭代思路，但引入"早停"或"反馈有效性判断"机制，避免无效迭代浪费token；(4) **执行轨迹的强化学习**：把SkillRL的思路与Teacher Feedback结合，用RL直接优化"技能可被采纳且有用"这一复合目标；(5) **任务自适应路由**：用元学习预测每个任务适合"硬模板"还是"软启发"，动态选择技能生成策略。
复现评估
SkillLearnBench的数据与代码已开源（GitHub: cxcscmu/SkillLearnBench），包含20任务的描述、人类技能参考、多实例构造及方法实现。**可复现性优势**：(1) 解题智能体固定为Claude Sonnet 4.6，裁判固定为GPT-5-mini，且temperature=0，随机性可忽略；(2) 所有任务都有确定性验证器，pass/fail完全可重现；(3) 论文提供详细prompt模板与评分rubric（附录L/M/N）。**复现成本**：实验需调用6种商业LLM（Claude和Gemini全家桶）作为生成器，外加Claude Sonnet 4.6作为解题器、GPT-5-mini作为裁判，加上每任务100轮容器化沙箱执行。整体计算成本较高（每任务×每方法×每LLM×多实例），资源受限的研究者复现全部主表困难，但**复现单LLM×单方法的子集可行**。**复现难度评估**：中等偏上——核心算法不复杂（多数方法只是多轮prompt），但评估管线（特别是Level 1/2的LLM裁判）需要严格对齐prompt才能得到可比数字。
论文图表
