现实世界中代理技能的效果如何：在现实设置中基准测试LLM技能使用 How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings
首次系统评估LLM代理在现实场景中使用技能的效果，发现技能收益脆弱，查询特定精炼可恢复性能
前置知识
Agentic Skills
可重用的领域特定知识工件，编码领域特定工作流、API使用模式、编码惯例和最佳实践，以结构化格式存在，通常包含SKILL.md文件和辅助文件，用于扩展LLM代理的本地知识能力。
本文核心研究对象，理解技能的格式、结构和作用方式是理解整个评估框架的基础，也是理解为何现有基准测试过于理想化的关键。
检索与精炼
检索是从大型技能库中查找相关技能的过程，精炼是将检索到的技能转换为更有用形式的策略，包括查询特定精炼和查询无关精炼。
本文提出的两个关键技术贡献，用于解决现实场景中的技能选择、检索和适应挑战，是理解性能恢复机制的核心。
通过率 $P_{pass}$
代理成功完成任务的百分比，计算公式为 $P_{pass} = \frac{N_{success}}{N_{total}} \times 100\%$，其中 $N_{success}$ 是成功任务数，$N_{total}$ 是总任务数。
本文主要实验指标，用于量化技能效用的衰减和精炼策略的效果，所有结论都基于通过率的比较和分析。
研究动机
现有的技能基准测试如SKILLSBENCH过于理想化，存在两个关键问题：第一，提供的技能是手工制作以过拟合每个评估任务的，往往编码了特定于任务的逐步指导而非通用的可重用知识，例如在图1所示的洪水检测任务中，三个策划技能分别提供了USGS API调用方法、NWS洪水阈值数据的精确URL和洪水检测代码片段，这些技能组合几乎直接拼出了任务的确切解决方案指南；第二，策划的技能直接放置在代理的上下文中，绕过了从大型和嘈杂的集合中发现正确技能的实际挑战。这些理想化设置导致无法回答技能在现实条件下是否仍然有帮助这一基本问题。
本文的目标是本文的目标是在现实条件下对技能效用进行全面的系统研究，通过构建一个包含34k真实世界技能的大规模集合，设计逐步引入技能选择、检索和适应挑战的评估设置，评估代理在必须从大型集合中检索技能、使用非任务特定通用技能等情况下的性能。研究还旨在探索技能精炼策略以缩小理想化设置与真实场景之间的性能差距，特别是查询特定精炼和查询无关精炼在不同初始技能质量下的效果，为改进现实场景中的技能使用提供指导，最终揭示技能在现实条件下的实际价值和局限性。
与已有工作不同的是，本文的独特切入角度是首次系统研究技能效用在逐渐变得更真实的设置下的变化，从强制加载策划技能的理想化上限，到必须从34k技能集合中自主检索，再到使用非针对任务的通用技能，逐步引入现实挑战。与以往只评估理想化条件下技能效果的工作不同，本文揭示了技能收益的脆弱性，并研究通过查询特定和查询无关精炼策略来恢复性能损失。这种渐进式评估框架和对精炼策略的系统性研究是对技能评估范式的根本性扩展，首次提供了技能在现实条件下实际效用的全面证据和量化分析。
核心方法
本文的整体方法思路分为三个核心步骤：首先构建现实评估基础设施，包括从skillhub.club和skills.sh聚合平台下载34k真实世界技能，构建包含元数据和完整内容的索引，使用Qwen3-Embedding-4B进行密集嵌入和BM25进行稀疏关键词匹配；其次设计逐步真实的评估框架，在SKILLSBENCH上从理想化到现实的六个设置中评估技能效用，系统性地改变技能选择、检索和适应三个因素；最后研究技能精炼策略，包括查询特定精炼和查询无关精炼，以缩小理想化与真实场景的性能差距。技术路线采用端到端评估，每个模型独立运行技能检索、任务完成和精炼流程，确保结果反映每个模型和框架对的端到端能力。
核心创新点在于提出逐渐现实化的评估框架，系统性地改变三个因素：代理是否必须自主选择加载哪些技能、技能如何被发现、可用什么技能。这种渐进式引入现实挑战的方法与以往直接提供策划技能的理想化设置有本质区别。另一个核心创新是技能精炼策略，特别是查询特定精炼允许代理合并和合成多个检索到的技能，提取每个技能的相关部分并组合成单一连贯技能，同时丢弃不相关内容。图3展示了这一点：代理从一个技能提取张量并行概念，从另一个提取自定义autograd模式，合并成包含可微分all_gather和all_reduce的新技能，实现了单个技能无法提供的功能。
方法步骤详情
方法步骤的完整描述如下：第一步是技能集合构建，从两个聚合平台获取技能元数据，从GitHub下载完整技能文件夹，通过许可证、质量和去重过滤，得到34198个技能；第二步是构建检索系统，为每个技能创建元数据和完整内容两种索引，使用Qwen3-Embedding-4B进行密集嵌入，BM25进行稀疏关键词匹配；第三步是比较检索策略，包括直接搜索和代理搜索，代理搜索又分关键词、语义、混合无内容、混合有内容四个变体；第四步是在SKILLSBENCH上评估六个设置的性能：强制加载策划、策划、策划加干扰、检索含策划、检索不含策划、无技能；第五步是评估两种精炼策略，查询无关使用skill-creator元技能独立改进每个检索到的技能，查询特定允许代理读取任务指令、检查所有检索技能、尝试初始解决方案后根据自我评估精炼技能；第六步是在TERMINAL-BENCH 2.0上验证方法的泛化性。
技术新颖性
技术新颖性体现在三个方面：一是提出渐进式现实评估框架，这是首个系统研究技能效用在逐渐变得更真实的设置下变化的工作，揭示了理想化评估与真实场景之间存在的巨大性能差距。表1显示代理混合搜索的Recall@5为65.5%，而直接语义搜索仅为47.0%，说明检索能力是现实场景的关键瓶颈；二是全面比较多种检索策略，发现代理搜索显著优于直接搜索，代理可以利用迭代查询制定和候选评估来改进检索，Recall@3从38.1%提升到57.7%；三是系统研究技能精炼策略，揭示查询特定精炼在初始技能质量合理时可以显著恢复性能，但在相关技能完全缺失时效果有限。表3显示精炼成功的设置初始覆盖率得分大于等于3.83，而失败的设置得分小于等于3.49。
实验结果
核心发现是技能收益具有脆弱性，性能随着设置变得更真实而持续下降，在最具挑战性的场景中通过率接近无技能基线。图2显示Claude Opus 4.6在强制加载策划技能时达到55.4%通过率，但当代理自主选择时降至51.2%，加入干扰技能后进一步降至43.5%。当必须从34k集合中检索技能时，Claude降至40.1%和38.4%，仅比无技能基线35.4%高出3.0个百分点。Kimi和Qwen的表现更差，在移除策划技能时甚至低于其无技能基线，说明不相关的检索技能可能主动误导代理。技能使用分析显示代理经常无法加载策划技能，Claude在策划设置中只有49%的轨迹加载所有策划技能，加入干扰后降至31%。检索方面，表1显示代理混合搜索显著优于直接搜索。精炼策略方面，表2显示查询特定精炼在7个情况下改进性能，Claude在SKILLSBENCH含策划技能时从40.1%提升到48.2%，在TERMINAL-BENCH 2.0上从61.4%提升到65.5%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SKILLSBENCH技能检索 | Recall@5 | 65.5% | 47.0% | +18.5个百分点 |
| SKILLSBENCH代理性能含策划技能 | 通过率 | 48.2% | 40.1% | +8.1个百分点 |
| TERMINAL-BENCH 2.0代理性能 | 通过率 | 65.5% | 61.4% | +4.1个百分点 |
局限与改进
本文的局限性包括：第一，研究基于SKILLSBENCH和TERMINAL-BENCH 2.0两个基准测试，虽然SKILLSBENCH包含84个任务、TERMINAL-BENCH 2.0包含89个任务，但仍可能无法覆盖所有真实场景；第二，技能集合虽然包含34k技能，但只来自两个聚合平台，可能不能代表所有可用的技能；第三，检索系统基于固定嵌入模型和BM25，未来检索技术的改进可能改变结果；第四，精炼策略虽然有效但有成本，查询特定精炼需要每个任务进行完整的探索过程，查询无关精炼效果有限；第五，研究主要关注代码任务，其他类型任务的行为可能不同。作者也承认技能精炼不能补偿相关技能完全缺失的情况，表3显示当初始覆盖率得分低于3.49时精炼效果微乎其微，说明技能集合的质量和覆盖率是根本限制。
独立分析的弱点
独立分析的弱点包括：第一，检索性能仍有提升空间，表1显示即使最好的代理混合搜索Recall@5也只有65.5%，意味着超过三分之一的策划技能不在前5个检索结果中，这是性能损失的重要来源；第二，查询无关精炼效果有限且不稳定，表2显示在多个设置中几乎没有改进，Claude在SKILLSBENCH含策划时仅从40.1%提升到42.0%，说明离线精炼需要更好的方法来识别技能的关键部分；第三，不同模型对技能的利用能力差异巨大，表2显示Kimi在SKILLSBENCH含策划技能的查询特定精炼中通过率从33.5%降至26.7%，说明探索和自我评估过程可能适得其反；第四，在移除策划技能的设置中，精炼效果微乎其微，Claude仅从38.4%提升到37.9%，甚至Kimi和Qwen几乎没有改进，说明当相关技能不存在时，精炼无法创造新知识。
未来方向
未来研究方向包括：作者提出的方向包括更好的技能检索方法、更有效的离线精炼方法、考虑不同模型能力的技能生态系统。基于成果可延伸的方向包括：研究技能的组合和分解，当多个技能合并时如何保持信息完整；开发技能的自适应加载策略，根据任务复杂度和模型能力动态决定加载哪些技能；研究技能的持续改进机制，基于使用反馈自动更新技能；探索其他类型任务的技能效果，如文本生成、推理等；研究技能的安全性和可靠性，防止恶意技能误导代理；开发技能质量评估标准，帮助用户选择高质量的技能。另一个有趣的方向是研究不同代理框架对技能使用的影响，图2显示Kimi的技能加载率远高于Claude，但并未转化为更好的性能，说明代理框架的设计对技能效用有重要影响。
复现评估
复现评估显示本文的可复现性较好。作者在GitHub上提供了代码，包括技能检索引擎、基准测试工具和精炼策略的实现。技能集合包含34198个技能，来自公开的GitHub仓库，使用MIT和Apache 2.0许可证。实验使用三个模型：Claude Opus 4.6、Kimi K2.5、Qwen3.5-397B-A17B，这些都是可访问的模型。评估在SKILLSBENCH的84个任务和TERMINAL-BENCH 2.0的89个任务上进行，每个条件运行3次。主要挑战在于计算成本，特别是查询特定精炼需要为每个任务进行完整的探索过程。对于有API访问权限和足够计算资源的研究者，应该能够复现主要结果。详细实现和提示词在附录中提供，有助于精确复现。
论文图表
左侧图展示了一个SKILLSBENCH任务的例子，要求代理识别USGS站点的洪水日期，三个策划技能分别提供了USGS API调用方法、NWS洪水阈值数据URL和洪水检测代码片段，这些技能几乎直接拼出了任务的确切解决方案指南。右侧图展示了三个模型在不同评估设置下的通过率，从策划技能到策划加干扰、检索含策划、检索不含策划到无技能，性能逐渐下降，Claude从51.2%降至35.4%，Kimi从38.9%降至21.8%，Qwen从31.6%降至20.5%。
这张图对理解论文至关重要，左侧直观展示了现有基准测试的理想化问题，右侧则量化展示了技能效用的脆弱性，这是论文的核心发现。