SkillsBench：评估智能体技能在多样化任务中的实际效果 SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks
首个配对评估Agent Skill效果的基准，覆盖87任务18配置
前置知识
Agent Skills（智能体技能）
Agent Skills 是一类结构化的、基于文件系统的程序性知识包，用于在推理时增强 LLM 智能体的能力，而无需修改模型权重。每个 Skill 包含一个必需的 SKILL.md 文件（自然语言指令），以及可选的辅助资源如脚本、模板、参考文件或示例。Skills 编码了标准操作流程、领域惯例和任务启发式方法，通过 Agent Harness 在推理时注入到智能体的上下文中。与 RAG（检索增强生成）不同，Skills 提供的是程序性指导而非纯事实性上下文；与微调不同，Skills 是跨模型可移植的，因为它们以文件而非模型参数的形式存在。
本文的核心研究对象就是 Agent Skills 的效果评估，理解 Skills 的定义、组成和作用机制是理解全文的基础。
Agent Harness（智能体运行框架）
Agent Harness 是包裹 LLM 并将其连接到执行环境的运行层。它负责暴露工具接口、管理工作区状态、执行脚本、返回观察结果，并在 Skill 增强的智能体中负责发现和加载相关 Skills。本文评估了四种主流 Harness：OpenHands、Gemini CLI、Claude Code 和 Codex CLI。不同 Harness 在 Skill 发现、提示注入、执行循环和工具使用方面的实现差异，会显著影响同一模型使用 Skills 的效果。
本文的关键发现之一是 Harness 选择会实质性改变同一模型使用 Skills 的效果，理解 Harness 概念对于解读实验结果至关重要。
配对评估（Paired Evaluation）
配对评估是本文提出的核心评估范式：对同一任务，在完全相同的环境和条件下，分别运行无 Skills 基线和有 Skills 增强两个条件，然后比较两者的差异。这种设计确保了差异完全来自 Skills 的贡献，而非模型、Harness 或任务本身的变异。与传统基准将模型、Harness 和增强效果混在一个通过率中不同，配对评估能够隔离地测量增强的净效果。
配对评估是本文的方法论核心贡献，理解其原理和优势对于理解本文的研究价值至关重要。
任务宏通过率（Task-Macro Pass Rate）
这是本文的主要评估指标，遵循 Terminal-Bench 的做法：先对每个任务的多次试验取平均通过率，然后在固定的 87 个任务上进行宏观平均。每个（配置、任务、条件）三元组运行 3 次试验，最终分数为通过试验数除以总试验数。此外还使用归一化增益来衡量 Skills 关闭了多少剩余改进空间，这个指标在不同基线水平之间更具可比性。
理解评估指标是解读所有实验结果的前提，归一化增益的概念对于理解不同配置之间 Skills 效果的差异尤为重要。
确定性验证器（Deterministic Verifier）
每个 SkillsBench 任务都配有确定性的 pytest 验证器，用于自动化地判定任务完成的通过/失败。验证器输出二元结果（pass/fail），而非依赖 LLM-as-a-judge 的主观评分。这种设计确保了评估的可重复性和客观性。验证器与任务的 oracle 参考解决方案绑定，oracle 必须能通过验证器，以确保验证器的正确性。
确定性验证器是本文评估可信度的基础，与 LLM-as-a-judge 方法相比具有更高的可重复性。
研究动机
AI 智能体正在生产工作流中大规模部署，从软件工程（可持续处理长达 10 小时的人类工作量）到专业领域。这带来了一个根本性矛盾：基础模型提供广泛能力但缺乏专家第一天就具备的程序性知识，而对每个领域进行微调既昂贵又牺牲通用性。Agent Skills 作为推理时增强方案应运而生，社区 Skills 生态已增长到 2,014,000 个源分区 Skills。然而，尽管 Skills 被快速采用，却没有任何标准化方法来衡量它们是否真的有帮助。现有的 Agent 基准（如 Terminal-Bench、SWE-bench、AgentBench 等）只测量孤立的原始能力，将模型、Harness 和增强效果混在一个通过率中，无法回答部署层面的关键问题：添加这个 Skill 会对我的智能体在这项任务上有多少帮助？
本文的目标是本文的具体目标是建立第一个将 Skills 作为一等评估对象的基准——SKILLSBench，通过配对评估范式（有 Skills vs. 无 Skills）量化 Skills 的实际增益。具体而言，该基准在 87 个任务、8 个领域、18 个模型-Harness 配置上运行配对实验，旨在回答三个核心问题：Skills 到底能带来多少提升？什么因素影响 Skills 的效果？Skills 在什么场景下会失效甚至产生负面影响？此外，本文还贡献了一个可泛化的配对评估框架，不仅适用于 Skills，还可用于评估检索流水线、记忆存储、脚手架等其他增强工件。
与已有工作不同的是，本文的独特切入角度在于将 Skills 从隐含的上下文增强提升为一等评估对象。现有基准的评估范式是给定任务、测量智能体通过率，而本文的范式是给定任务和 Skills、测量 Skills 的边际贡献。这种范式转变意味着：第一，同一任务需要在匹配的条件下多次运行以隔离 Skills 效果；第二，任务与 Skills 必须解耦以防止泄漏，Skills 不能编码特定任务的答案；第三，需要大规模的贡献者社区和严格的过滤流水线来保证任务和 Skills 的质量。本文还引入了归一化增益指标，使得在不同基线水平的配置之间也能公平比较 Skills 的效果。
核心方法
SKILLSBench 的整体方法分为三个阶段：基准构建、质量过滤和配对评估。在构建阶段，研究团队建立了一个 1,400 名成员的贡献者社区，通过范围界定访谈培训了 200 多名任务作者，从公共 PR 历史中收集了 400 个候选任务提交，同时聚合了来自社区生态的 2,014,000 个源分区 Skills。在质量过滤阶段，每个提交需通过四道自动化门控（结构完整性、oracle 执行、指令来源验证、Skill-to-解决方案泄漏检测）和人工审查，最终保留 87 个任务跨 8 个领域。在评估阶段，使用 BenchFlow 开源多轮 Agent 评测框架，在每个（配置、任务、条件）三元组上运行 3 次试验，通过确定性 pytest 验证器产出通过/失败结果。核心创新在于配对设计：每个任务在完全相同的容器环境中运行无 Skills 和有 Skills 两个条件，确保差异完全来自 Skills 的贡献。
本文的核心创新在于将 Skills 视为专业知识而非答案来构建基准，以及配对评估范式。已有方法的根本问题是将模型、Harness 和增强效果混在一个通过率中，无法隔离地测量 Skills 的净贡献。本文的关键洞见是：有效的评估需要将任务与 Skills 解耦。具体而言，Skills 必须为一类问题提供领域专业知识，而非特定实例的解决方案。这通过两个机制强制执行：第一，贡献者独立于基准编写 Skills，来自公共仓库或先前的领域经验，因此实验测量的是预存专业知识的使用效果；第二，任务指令从不指明使用哪些 Skills，智能体通过标准渐进披露机制发现和激活 Skills。这种设计从根本上防止了 Skills 成为隐藏的答案密钥，使得测量的是程序性知识增强的真实效果而非指令跟随能力。
方法步骤详情
SKILLSBench 的方法包含以下完整步骤。第一步任务规范定义：每个任务是一个自包含模块，包含人工编写的指令、带任务数据和 skills 子目录的 Docker 环境、oracle 参考解决方案和确定性 pytest 验证器。第二步社区构建与任务收集：建立 1,400 名成员的贡献者社区，通过访谈培训 200 多名作者，收集 400 个候选提交。第三步四道自动化门控过滤：结构完整性检查确保任务组件完整；oracle 执行验证确保参考方案能通过验证器；指令来源验证使用 AI 文本检测器加人工标签，确保 100% 人工编写；Skill-to-解决方案泄漏检测拒绝包含任务特定文件名、路径、魔数、逐字 oracle 命令或预期输出的提交。第四步人工审查：通过门控的 PR 接受至少 30 分钟的维护者审查，无条件间可测量分离的任务被拒绝。第五步配对评估：在 BenchFlow 上为每个（配置、任务、条件）构建全新固定容器，运行无 Skills（A）、有精选 Skills（B）和自生成 Skills（C）三个条件，确定性测试脚本验证器产出通过/失败结果。第六步指标计算：主要指标为任务宏通过率，辅以归一化增益。
技术新颖性
本文的技术新颖性体现在多个层面。首先在评估范式上，这是第一个将 Agent Skills 作为一等评估对象的基准，从测量智能体能力转向测量增强效果，开创了配对评估在 Agent 增强领域的系统化应用。其次在基准构建上，本文建立了大规模贡献者驱动的任务和 Skills 来源机制，聚合了 2,014,000 个 Skills，这是此前任何 Agent 基准未曾达到的规模。第三在防泄漏设计上，本文提出了任务-工件解耦的严格协议，包括独立编写 Skills、渐进披露发现机制和四道自动化门控，从根本上防止了 Skills 成为隐藏答案。第四在评估框架上，BenchFlow 提供了统一的 Skill 注入、沙箱化和轨迹日志记录，支持跨 18 个配置的公平比较。第五在指标设计上，归一化增益使得在不同基线水平之间也能公平比较 Skills 的效果，克服了绝对增益在低基线配置上天然更大的偏差。
实验结果
本文的核心实验在 87 个任务、18 个模型-Harness 配置上运行配对评估，得出了一系列重要发现。首先，Skills 提供了广泛但非均匀的增益：所有 18 个配置在使用精选 Skills 后均有提升，平均通过率从 33.9% 提升到 50.5%（+16.6 个百分点，25.5% 归一化增益），但配置间差异巨大（+4.1 到 +25.7 pp）。最强的绝对系统并非最大受益者：OpenHands + GPT-5.5 达到最高 67.3% 通过率，但最大增益来自 OpenHands + GLM 5.1（+25.7 pp，38.1% 归一化增益）、Gemini CLI + Gemini 3.1 Pro（+24.8 pp）和 OpenHands + DeepSeek V4 Pro（+23.2 pp）。Harness 选择会实质性改变 Skills 使用效果：同一模型在不同 Harness 下表现差异显著，如 GPT-5.5 在 OpenHands 中 67.3% vs. Codex 中 66.5%，Claude Opus 4.7 在 Claude Code 中 61.2% vs. OpenHands 中 53.1%。领域层面，Natural Science 增益最大（+28.8 pp），Mathematics & OR 最小（+9.7 pp）。自生成 Skills 无法替代精选 Skills，在三个配置上甚至低于无 Skills 基线（-8.1 到 -11.5 pp）。紧凑聚焦的 Skills 优于详尽的文档：1 个 Skill 增益 +18.0 pp，2-3 个 +19.0 pp，4 个以上仅 +10.1 pp。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 87 任务总体平均 | 任务宏通过率（Task-Macro Pass Rate） | 50.5%（精选 Skills 条件，18 配置平均） | 33.9%（无 Skills 条件，18 配置平均） | +16.6 pp 绝对增益，25.5% 归一化增益 |
| 最佳配置（OpenHands + GPT-5.5） | 任务宏通过率 | 67.3%（精选 Skills） | 51.5%（无 Skills） | +15.8 pp，32.6% 归一化增益 |
| 最大增益配置（OpenHands + GLM 5.1） | 任务宏通过率 | 58.4%（精选 Skills） | 32.7%（无 Skills） | +25.7 pp，38.1% 归一化增益 |
| Natural Science 领域（14 任务） | 领域平均通过率 | 70.8% | 42.0% | +28.8 pp |
| Media & Content Production 领域（5 任务） | 领域平均通过率 | 47.4% | 23.3% | +24.1 pp |
| 自生成 Skills vs. 精选 Skills（Claude Code + Opus 4.7） | 任务宏通过率 | 61.2%（精选 Skills） | 43.0%（无 Skills）/ 34.9%（自生成 Skills） | 精选 +18.2 pp vs. 自生成 -8.1 pp |
局限与改进
作者明确承认了若干局限性。在覆盖范围和泛化性方面，SKILLSBench 聚焦于基于终端的容器化任务以确保可复现性，结果可能无法直接迁移到 GUI 智能体、多智能体协调或超长时域工作流。评估的模型和 Harness 集合有限，且这些系统的 Skills 集成可能随时间变化。在因果归因和控制方面，Skills 注入增加了上下文长度，观察到的增益可能部分反映更多上下文而非程序性结构。自生成 Skills 条件虽然表明模型编写的程序性文本无法复现精选 Skills 增益，但其缺陷混合了内容质量、Skill 发现和创建者/求解器干扰效应。在确定性和生态效度方面，容器化提供了状态隔离但非完美确定性或训练集泄漏免疫。从笔者的观察来看，87 个任务的规模对于覆盖广泛的 Agent 技能场景仍然有限；13 个任务出现负增益表明 Skills 设计本身是一个尚未解决的挑战；评估主要依赖确定性 pytest 验证器，对于需要主观判断的任务类型（如创意写作、设计评审）可能不适用；此外，评估成本高昂（18 配置乘以 87 任务乘以 3 条件乘以 3 试验约 14,000 次运行），限制了大规模迭代实验的可行性。
独立分析的弱点
尽管本文的配对评估范式具有开创性，但仍存在若干值得深入分析的弱点。首先任务多样性方面，87 个任务虽然跨 8 个领域，但每个领域的任务数量有限（最少 5 个，最多 16 个），统计显著性可能不足，特别是对于领域级别的结论。改进方向是大幅扩充任务数量，建立持续的社区贡献机制。其次 Skills 质量控制方面，本文评估的是精选 Skills，即由领域专家编写的高质量 Skills，这可能高估了实际部署中自动发现或社区贡献 Skills 的效果。未来应评估不同质量等级 Skills 的效果分布。第三 Harness 差异的归因不够深入：同一模型在不同 Harness 下表现差异显著（如 Claude Opus 4.7 在 Claude Code 中 61.2% vs. OpenHands 中 53.1%），但未充分分析是 Skill 发现机制、提示注入方式还是执行循环差异导致的。改进方向是控制单一变量进行消融实验。第四负增益任务的分析可更深入：13 个任务出现负增益，作者归因于过重流水线、替代更强默认策略和不可调试的求解器三个模式，但未提供系统性的 Skills 设计指导来避免这些问题。
未来方向
作者提出了多个明确的未来研究方向。在评估范围扩展方面，自然延伸包括多模态 Skills 和视觉语言智能体在 GUI 环境中的评估，以及多智能体协调场景。在 Skills 设计方面，作者提议扩展 SKILL.md frontmatter 以包含显式的复杂性契约：预期工具和 token 成本、适用性边界和必需的轻量级回退路径，帮助智能体在任务证据不支持时绕过重型方案。在评估方法论方面，需要更强的长度匹配基线（如随机或无关文本、纯检索文档）来隔离哪些组件（步骤、示例、代码资源）驱动改进，并研究自动 Skills 合成。在 Skills 组合方面，需要研究多 Skills 何时相互帮助或干扰，以及组合效果是否可以从原子效果预测。基于本文成果可延伸的方向包括：建立 Skills 质量评分模型，预测特定 Skill 对特定任务的效果；研究 Skills 的版本演化和迁移学习；开发自适应 Skills 选择机制，根据任务特征动态组合 Skills；以及将配对评估范式推广到其他增强工件（RAG、工具、记忆系统）的效果评估。
复现评估
本文在可复现性方面做了大量工作，但也存在一些挑战。开源方面，作者承诺开源基准、BenchFlow Harness 和公共轨迹/结果，这是显著的积极信号。数据方面，87 个任务均有固定数据、oracle 解决方案和确定性验证器，容器化确保了环境一致性。然而，评估涉及 18 个模型-Harness 配置，其中多个使用商业 API（GPT-5.5、Claude Opus 4.7 等），完整复现需要显著的 API 调用成本。每次完整评估运行约 14,000 次（18 配置乘以 87 任务乘以 3 条件乘以 3 试验），即使使用缓存和增量评估，成本仍然可观。此外，商业模型的版本更新可能导致结果不可精确复现。算力方面，BenchFlow 的容器化基础设施需要一定的运维能力。难度方面，虽然框架设计良好，但贡献者社区的建立和任务质量控制是最大的非技术障碍，本文基于 1,400 名成员社区和 400 个候选提交，新团队难以快速复现这一规模。总体而言，框架和数据的开源性良好，但完整的端到端复现需要显著的资源投入和社区建设。
论文图表
