SkillNet：大规模创建、评估与连接AI技能的开放基础设施 SkillNet: Create, Evaluate, and Connect AI Skills
构建20万+技能库，多维评估提升Agent任务成功率40%
前置知识
Agent技能（Agent Skill）
在智能体系统中，技能是一种轻量级、模块化、可复用的知识抽象单元。它封装了程序性知识、任务特定指令和配套资源，使得智能体能够更准确、高效、一致地执行复杂任务。从技术实现上看，技能以结构化文件夹形式组织，包含一个核心SKILL.md文件，定义技能的元数据和详细指令。技能的发现-激活-执行三步渐进式过程使得智能体可以按需加载，既保持灵活性又避免过度占用上下文窗口。技能的本质是将非结构化语言理解与结构化机器可执行逻辑桥接起来的统一知识表示。
理解技能的定义和工作原理是理解SkillNet整体架构的基础，技能是本文的核心概念载体
本体（Ontology）
在知识工程中，本体是对某个领域中概念及其关系的形式化、显式规范说明。SkillNet的技能本体包含三个层次：技能分类层（Taxonomy）通过类别和标签关系将技能组织为多级层次结构；技能关系图（Relation Graph）将抽象标签实例化为具体技能实体，定义了相似、组合、归属、依赖四种核心关系边；技能包库（Package Library）将技能封装为模块化的任务导向包，便于发布和部署。
本体是SkillNet组织和连接大规模技能的理论基础，直接决定了技能检索、组合和推理的能力
部分可观测马尔可夫决策过程（POMDP）
POMDP是一种决策模型，其中智能体无法直接观察环境的完整状态，只能获得部分噪声观测。它由状态集合、动作集合、观测函数、转移函数、奖励函数和折扣因子组成。ALFWorld、WebShop、ScienceWorld这三个实验环境都建模为POMDP，要求智能体在不完全信息下进行序贯决策。这使得技能的复用和经验积累变得尤为重要，因为单靠模型的参数知识难以在这些环境中高效完成任务。
三个实验环境均基于POMDP建模，理解这一概念有助于理解实验设置和评估意义
RAG与技能检索
检索增强生成（RAG）是通过检索外部知识来增强大语言模型生成能力的技术范式。SkillNet采用了类似的思路，但不是检索文本片段，而是检索和激活结构化的技能包。智能体首先加载技能的最小元数据（名称和描述）进行发现，然后在任务匹配时读取完整的SKILL.md指令，最后执行技能。这种渐进式加载机制既保持了RAG的高效性，又利用了技能的结构化特性。
SkillNet的技能检索机制是其核心创新之一，理解RAG范式有助于理解其设计动机
二次加权Kappa（QWK）
二次加权Kappa是一种衡量评估者一致性的统计指标，特别适用于有序分类数据。与简单Kappa不同，QWK考虑了不一致程度的差异——将"良好"误判为"一般"比误判为"差"的惩罚更轻。取值范围从-1到1，接近1表示近乎完美的一致性。在SkillNet中，QWK被用来验证自动化LLM评估器与人工标注者之间的一致性，结果达到近乎完美的1.000。
理解QWK指标有助于理解论文中评估可靠性验证的科学严谨性
研究动机
当前AI智能体虽然能够灵活调用工具并执行复杂任务，但其长期发展受到技能系统性积累和迁移机制缺乏的严重制约。论文指出现有方法的根本困境在于两个方面：第一，缺乏统一的技能获取和巩固机制。有价值的专长大规模分布在开源仓库、学术论文和智能体执行轨迹中，但这些资源大都是非结构化且彼此隔离的。与人类学习者持续将外部信息内化为有组织的知识图式不同，AI智能体无法自动将这些资源提炼为可复用、可执行的能力。第二，缺乏原则性的大规模技能质量验证和维护框架。没有系统性评估，技能仓库容易受到"污染"，可执行性、安全性和鲁棒性只能通过下游任务成功率间接评估，这种随机且不透明的验证引入了技术债务，破坏了长期能力增长。这导致智能体频繁地在孤立的上下文中"重新发明轮子"，即使成熟的策略也很少能启发未来的任务。
本文的目标是SkillNet的具体目标是构建一个开放的基础设施，用于大规模创建、评估和组织AI技能。该系统致力于将来自不同来源的碎片化经验（包括执行轨迹、开源仓库和文档）转化为结构化的超过20万个精心策划的技能网络。核心目标包括：建立统一的技能本体（包含分类层、关系层和包层），支持从异构来源创建技能；建立丰富的关联连接（相似、组合、归属、依赖）；在安全性、完整性、可执行性、可维护性和成本意识五个维度进行多维评估；最终通过实验证明技能的系统性积累能够有效且累积地增强智能体能力，而非仅是片段式的。
与已有工作不同的是，本文的独特切入角度在于将技能视为独立的、系统性积累的、基于知识的能力单元，而非参数化知识或临时提示。论文通过回顾AI发展历史提出了三个时代的演进框架：符号时代依赖僵化的符号逻辑，提供可解释性但受限于脆弱性和可扩展性差；深度学习时代知识变得参数化（高维权重矩阵），虽然强大但不透明且难以模块化或复用；当前的智能体时代则正在趋向于以技能为载体的收敛，技能作为简单、可迁移的单元，将智能从单一的参数空间中分离出来。SkillNet的独特之处在于它不仅是一个技能仓库或包管理器，而是一个全生命周期的基础设施，解决了现有平台的三个关键限制：缺乏自动化技能生成机制、缺乏全面的内在属性评估、以及技能之间缺乏结构化关联导致可组合性差。
核心方法
SkillNet的整体技术路线可以用"收集-提炼-连接-验证"四个阶段来概括。首先，在技能创建阶段，系统从多种异构数据源（用户执行轨迹、GitHub仓库、Office文档、自然语言提示）自动提取可执行模式并结构化为标准技能。然后，通过数据驱动的过滤和巩固流程（包括去重、过滤、分类打标和评估）确保技能质量。接着，SkillNet通过技能分析模块自动发现技能间的结构和功能关系，构建大规模技能关系图。最后，通过多维评估框架（安全性、完整性、可执行性、可维护性、成本意识）对技能进行系统性质量把控。整个流程通过LLM管线实现自动化，用户也可以自定义底层模型。SkillNet最终形成了包含20万+候选技能和15万+高质量精选技能的开放生态。
SkillNet的核心创新在于将技能建模为连接非结构化语言理解和结构化机器可执行逻辑的"中间能力单元"。与已有方法的本质区别体现在三个方面：第一，技能不再是隐式的（编码在提示、潜在记忆或松散组织的工作流中），而是显式的、结构化的、自文档化的知识实体，以SKILL.md为核心，包含元数据和详细执行指令。第二，技能之间的关系被显式建模（相似、组合、归属、依赖四种关系），形成可推理的关系图，而非孤立的实体集合。第三，技能质量通过五个维度的系统性评估来保障，其中可执行性维度还包括在沙盒环境中的实际执行验证，而非仅依赖社区指标（如GitHub星标）或下游任务表现。
方法步骤详情
SkillNet的方法包含四个核心模块的完整流程。技能创建模块分析用户轨迹、Office文档、GitHub项目、直接提示和开源互联网资源，通过LLM提取可执行模式并生成新技能。数据驱动的过滤和巩固流程包含五个阶段：去重（通过比较技能目录结构和MD5哈希）、过滤（通过规则验证和模型检查消除低质量技能）、分类和打标（将技能归入十个功能类别之一）、评估（多维机制决定是否准入）、最终选择性巩固（自动建立技能间关联）。技能评估模块对每个技能沿五个核心维度量化：安全性（评估潜在风险如未授权文件删除、提示注入鲁棒性）、完整性（评估是否封装所有关键步骤和依赖）、可执行性（在沙盒环境中验证运行时正确性）、可维护性（测量模块化和可组合性）、成本意识（量化时间延迟、计算资源消耗和API使用成本）。技能分析模块通过混合管线（语义嵌入加LLM关系推理）构建有向、类型化的多关系图，节点代表技能，边编码精细的结构依赖和功能关联。
技术新颖性
SkillNet的技术新颖性体现在多个层面。首先，在技能表示上，技能被形式化为统一的知识表示，桥接实体、关系、工作流和可执行代码，这是一种混合表示范式，同时涵盖文本语义和符号结果。其次，在技能关系建模上，引入了四种核心关系类型（similar_to、belong_to、compose_with、depend_on），通过语义嵌入和LLM推理的混合管线自动发现，形成了可进行全局推理的结构化技能图。第三，在评估框架上，创新性地将LLM评估器（GPT-5o-mini实例化）与沙盒执行验证相结合，实现了高通量评估。人工验证显示平均绝对误差（MAE）低于0.03，QWK达到近乎完美的1.000。第四，在整体架构上，SkillNet不是静态的包管理器或市场，而是自进化的技能生态系统，支持技能的持续创建、评估和关联构建。第五，在应用整合上，通过skillnet-ai Python工具包和CLI工具，实现了技能的发现、下载、创建、评估和分析的统一接口。
实验结果
论文在三个基于文本的模拟环境（ALFWorld、WebShop、ScienceWorld）上进行了全面的定量评估，使用了三个代表性LLM（DeepSeek V3.2、Gemini 2.5 Pro、o4 Mini）作为骨干模型，与ReAct、Expel和标准Few-Shot基线进行了对比。核心发现包括：集成SkillNet后，平均奖励提升了40%，交互步骤减少了30%，表明配备SkillNet的智能体能够以更短、更连贯的动作轨迹更可靠地解决问题。在DeepSeek V3.2上，SkillNet在ALFWorld的seen和unseen设置上分别达到80.60和83.57的平均奖励（ReAct为66.43和69.40）。在Gemini 2.5 Pro上，SkillNet在ALFWorld的seen设置上达到91.43的奖励（ReAct为60.00），提升了52.4%。在WebShop上，Gemini 2.5 Pro + SkillNet达到53.02的奖励（ReAct为31.66），提升了67.5%。在ScienceWorld上，Gemini 2.5 Pro + SkillNet在seen设置上达到88.84（ReAct为58.24），提升了52.5%。性能提升在不同容量的骨干模型上都保持稳健，从紧凑模型（o4 Mini +15.7 R）到大规模LLM（Gemini 2.5 Pro +28.5 R），验证了SkillNet提供的是互补于参数知识的能力。在seen和unseen设置下的一致增益突显了SkillNet的强泛化能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld (Seen) | 平均奖励 R ↑ | Gemini 2.5 Pro + SkillNet: 91.43 | ReAct: 60.00, Expel: 68.57 | 相对ReAct提升52.4%，相对Expel提升33.3% |
| ALFWorld (Unseen) | 平均奖励 R ↑ | Gemini 2.5 Pro + SkillNet: 91.04 | ReAct: 61.94, Expel: 70.15 | 相对ReAct提升47.0%，相对Expel提升29.8% |
| WebShop | 平均奖励 R ↑ | Gemini 2.5 Pro + SkillNet: 53.02 | ReAct: 31.66, Expel: 33.12 | 相对ReAct提升67.5%，相对Expel提升60.1% |
| ScienceWorld (Seen) | 平均奖励 R ↑ | Gemini 2.5 Pro + SkillNet: 88.84 | ReAct: 58.24, Expel: 72.76 | 相对ReAct提升52.5%，相对Expel提升22.1% |
| ScienceWorld (Unseen) | 平均奖励 R ↑ | Gemini 2.5 Pro + SkillNet: 86.26 | ReAct: 56.13, Expel: 67.37 | 相对ReAct提升53.7%，相对Expel提升28.0% |
| ALFWorld (Seen) - o4 Mini | 平均奖励 R ↑ | o4 Mini + SkillNet: 68.57 | ReAct: 45.71, Expel: 56.43 | 相对ReAct提升50.0%，相对Expel提升21.5% |
| WebShop - DeepSeek V3.2 | 平均奖励 R ↑ | DeepSeek V3.2 + SkillNet: 46.18 | ReAct: 31.55, Expel: 29.23 | 相对ReAct提升46.4%，相对Expel提升58.0% |
局限与改进
论文坦诚地指出了几个重要局限性。首先，技能覆盖不可避免地不完整。许多私有或专业领域能力无法纳入，低频或高度隐性的能力难以捕捉和巩固到仓库中，特别是当它们抗拒明确的语言描述时。其次，自构建技能的质量无法完全保证。尽管评估程序过滤掉了一些问题案例，但仍有大量技能缺乏严格和系统的评估。如果恶意用户贡献了"投毒"或对抗性技能，当前的安全性评估机制虽然可以检测部分情况，但无法完全缓解。第三，尚未建立一个端到端的管线，将自然语言需求通过SkillNet转化为完全实例化的智能体。从我自己的观察来看，论文的实验主要在文本模拟环境中进行，尚未在真实物理世界或更复杂的多模态环境中验证。此外，技能的创建和评估主要依赖LLM（如GPT-5o-mini），这意味着系统的性能受限于底层模型的能力，且存在循环依赖的风险。论文也没有详细讨论技能仓库随时间演化的维护成本和版本管理挑战。
独立分析的弱点
论文存在几个值得关注的弱点。第一，技能质量评估的循环依赖问题：使用LLM来评估LLM生成的技能，可能导致系统性偏差，论文虽然用人工验证了评估器的可靠性（200个样本），但样本量相对有限，且未考虑对抗性技能的检测能力。改进方向可以包括引入更多元的评估信号（如执行轨迹分析、用户反馈）和更大规模的人工审计。第二，实验环境的局限性：三个实验环境（ALFWorld、WebShop、ScienceWorld）都是文本模拟环境，距离真实物理世界或复杂的多模态应用场景仍有差距。未来应在更接近真实部署的环境中验证，如结合视觉感知的机器人任务或多轮对话的客服场景。第三，技能粒度的定义模糊：论文将技能范围从轻量级文本指导到包含可执行程序的复杂包，但未明确不同粒度技能的最优使用场景和组合策略。第四，缺乏技能退化和失效的处理机制：随着底层工具和API的变化，技能可能失效，但论文未讨论技能的版本管理和向后兼容策略。
未来方向
论文提出了三个重要的未来研究方向。第一，开放世界技能进化：在工业制造、金融和科学研究等领域实现自动技能发现、抽象和跨域迁移仍然极具挑战性。行业特定的、私有策划的SkillNet本身可能成为智能体基础设施的基础组件。将技能进化机制与在线反馈、因果推理和不确定性建模相结合，有望提高技能选择的可靠性。第二，模型-技能协同：虽然SkillNet为智能体提供了大规模可执行技能，但这些技能与底层模型能力之间的协同作用仍未被充分探索。如何利用神经符号集成和记忆机制，使技能结构能够引导模型决策路径，以及随着模型能力进化动态重构技能层次和依赖关系，是系统性研究的核心问题。第三，多智能体协作和知识共享：在多智能体环境中，SkillNet可以作为共享表示和交换层，支持协作规划、知识迁移和跨智能体的经验积累。更广泛地说，这一范式可能开辟通往集体智能的路径，技能进化为可迁移、可组合的协调单元，数字角色可以继承、共享和扩展超越个体智能体的能力。
复现评估
论文在可复现性方面提供了较为完善的支持。SkillNet提供了全面的开源基础设施，包括大规模技能仓库（GitHub仓库：https://github.com/zjunlp/SkillNet）、Python工具包（skillnet-ai）、前端网站、开放访问API和20多个任务特定的技能集合。实验使用的三个环境（ALFWorld、WebShop、ScienceWorld）都是已建立的基准测试，有公开的代码和数据。论文明确说明了实验设置：使用ETO的专家轨迹合成基准特定的技能集合，且经验与测试集的seen和unseen划分没有重叠，从而防止了数据泄漏。然而，复现的挑战在于：技能仓库的规模（20万+）意味着完整复现需要显著的计算资源；LLM调用（GPT-5o-mini用于评估）涉及API成本；技能创建管线的具体提示模板和参数设置未完全公开。总体而言，对于核心实验（使用预发布的技能集合），复现难度为中等；对于完整系统（包括技能创建和评估），复现难度较高。
论文图表