OpenSkill：面向大语言模型智能体的开放世界自我进化 OpenSkill: Open-World Self-Evolution for LLM Agents

OpenSkill的三阶段流水线具有明确的输入输出和具体操作。第一阶段开放世界知识获取：给定$(I_i, E_i)$，开放世界检索函数$D$遍历开放世界知识$K$并返回包含背景概念、最佳实践、API文档和源代码引用的知识文档$\hat{k}_i = D(I_i, K)$。然后基于$(I_i, E_i, \hat{k}_i)$合成结构化技能计划$\hat{p}_i$，指定技能架构、关键程序和领域规则。此外，检索验证知识$\hat{k}_v^i = D_v(I_i, K)$，提供官方文档的参考值、知名数据集的统计不变量、领域标准的交叉验证程序和库函数的文档化输出格式等可独立验证的锚点。第二阶段无泄漏技能进化：基础智能体$\pi_\theta$根据第一阶段计划$\hat{p}_i$生成初始技能集$\hat{S}_i^{(0)}$，其大小$m$（$1 \leq m \leq 4$）由$\hat{p}_i$固定。基于验证知识$\hat{k}_v^i$构建虚拟测试套件$\tilde{T}_i = \{\tilde{t}_{i,1}, ..., \tilde{t}_{i,K}\}$，其中每个虚拟测试$\tilde{t}_{i,k} \in \{0, 1\}$是基于可独立验证事实而非猜测真实测试可能检查内容的确定性断言。管道进行最多$J$轮迭代（默认$J=3$），每轮$j$执行当前技能集$\hat{S}_i^{(j)}$并针对$\tilde{T}_i$评估，计算虚拟通过率$\tilde{r}^{(j)} = \frac{1}{|\tilde{T}_i|}\sum_{k=1}^K \tilde{t}_{i,k}(\pi_\theta(I_i, \hat{S}_i^{(j)}, E_i))$作为技能质量的代理指标。当$\tilde{r}^{(j)} < 1$时，管道产生结构化失败诊断$F^{(j)}$，包括每个断言的结果、根本原因分析和修订建议，然后精炼技能$\hat{S}_i^{(j+1)} = \pi_\theta(\hat{S}_i^{(j)}, F^{(j)} | I_i, E_i, \hat{p}_i, \hat{k}_i)$。当诊断指示知识缺口而非实现错误时，管道触发目标检索$\hat{k}_i^{(gap)} = D(F^{(j)}, K)$并将结果注入精炼上下文。循环在$\tilde{r}^{(j)} = 1$或最多$J$轮精炼后终止。第三阶段零样本目标评估：进化后，最终技能集$\hat{S}_i^*$——循环终止时的最后精炼版本，原地编辑而非最佳N快照——以零样本设置部署到目标智能体$\pi_{\theta'}$：智能体使用$\hat{S}_i^*$执行目标任务，$T_i^{GT} \in \{0, 1\}$确定通过或失败。平均通过率为$\text{PassRate} = \frac{1}{n}\sum_{i=1}^n T_i^{GT}(\pi_{\theta'}(I_i, \hat{S}_i^*, E_i))$。

OpenSkill的技术新颖性体现在三个关键方面。首先，开放世界知识获取作为主要技能内容来源，突破了对模型参数知识$K_\theta$的依赖。这使得技能能够包含最新的API信息、项目特定约定或利基领域规则，解决了现有方法技能质量受限的问题。其次，虚拟任务验证器基于可独立验证的事实生成确定性断言，而非模型先验或目标任务本身，这提供了校准更好的质量信号并避免监督泄漏风险。第三，技能作为显式、可迁移的工件而非模型权重，使得用一种模型构建的技能可以部署到任何目标智能体而无需重新训练或生成，这在跨模型迁移实验中得到验证：Opus 4.6生成的OpenSkill技能在Haiku 4.5、Qwen 3 Coder、DeepSeek V3和Mistral Large 3上分别带来5.5%、10.4%、14.8%和13.0%的性能提升，且不需要任何模型特定适配。相比之下，AutoSkill生成的技能在所有四个模型上都低于无技能基线，表明其技能与原始模型紧密耦合。

OpenSkill的独立分析弱点包括：首先，虚拟验证器的一致率仅为60.7%，仍有近40%的决策与GT评估不一致，这可能导致技能精炼方向错误。改进方向可以是增强虚拟测试的多样性和深度，或者引入多个虚拟验证器投票机制。其次，11.1%的GT测试意图未被覆盖，主要是深层语义质量属性如分类学连贯性、词形还原正确性等需要超出任务规范提供的领域专业知识。改进方向可以是增强开放世界检索的深度和广度，或者引入领域专家知识库。第三，消融研究显示超过3轮精炼后性能下降，表明对虚拟反馈的过拟合。改进方向可以是引入早停机制、动态调整虚拟测试难度或使用课程学习策略。第四，Manufacturing领域完全失败表明某些领域可能需要不同类型的学习策略或知识表示。改进方向可以是研究领域特定的知识获取和技能构建方法。第五，开放世界资源的嘈杂和矛盾性需要更好的来源跟踪和验证机制，改进方向可以是引入多源验证、时间衰减权重或可信度评分。最后，开放世界研究的成本和延迟相对于封闭世界方法更高，改进方向可以是优化检索策略、缓存知识或增量式知识更新。

作者提出的未来工作方向包括处理开放世界资源的嘈杂、过时和矛盾性，需要来源跟踪和来源验证机制。基于成果可延伸的未来研究方向包括：首先，增强虚拟验证器的质量和覆盖率，可以研究多模态虚拟测试（不仅检查数值和格式，还检查语义一致性）、自适应虚拟测试生成（根据当前技能水平动态调整测试难度）或元学习虚拟验证器（从过去的成功/失败案例学习生成更好的测试）。其次，改进跨模型迁移能力，可以研究模型无关的技能表示、技能压缩和蒸馏技术，或者技能组合和层次化构建。第三，扩展到更多任务类型和领域，特别是那些Manufacturing失败显示的复杂物理世界任务，可能需要集成模拟器、传感器数据或领域特定的验证机制。第四，研究更复杂的知识管理策略，如知识版本控制、冲突解决和增量更新，以处理开放世界知识的动态性。第五，探索与其他学习范式的集成，如强化学习（将虚拟奖励转换为策略梯度）、元学习（学习如何快速适应新领域）或课程学习（从简单任务逐步过渡到复杂任务）。第六，研究更高效的开放世界检索策略，如主动学习（智能选择要查询的信息）、分层检索（先获取高层知识再深入细节）或并行检索策略。最后，探索在真实世界部署中的应用和挑战，如安全性、鲁棒性、可解释性和用户接受度。

论文提供了代码和网站（https://github.com/OpenLAIR/OpenSkill 和 https://openlair.github.io/openskill/），但未明确提供数据集和实验配置。复现难度取决于多个因素：首先，开放世界知识检索依赖外部资源（文档、仓库、论文、教程、网页），这些资源随时间变化，可能导致复现结果不一致。其次，实验使用Opus 4.6和GPT 5.2等先进模型，这些模型的API访问可能受限或成本高昂。第三，三个基准测试（SkillsBench、SocialMaze、ScienceWorld）的获取和设置可能需要特定权限或环境配置。第四，虚拟测试生成和技能精炼过程涉及多个LLM调用，其结果可能具有随机性。第五，泄漏防护机制需要仔细实现，确保不意外引入目标任务监督。尽管如此，论文提供了详细的实现配置（在附录中）和完整的基准描述，这有助于复现。建议的复现步骤包括：(1)获取并设置基准环境；(2)实现开放世界检索函数$D$和$D_v$；(3)实现技能计划生成器；(4)实现虚拟测试生成器$g$；(5)实现诊断驱动精炼循环；(6)配置目标智能体$\pi_{\theta'}$和基础智能体$\pi_\theta$；(7)运行端到端流水线并评估。总体而言，复现难度中等到高，主要挑战在于开放世界资源的一致性和高级模型的访问。