SkillOS：面向自演化智能体的技能策展学习 SkillOS: Learning Skill Curation for Self-Evolving Agents
用强化学习训练技能策展器，让 LLM 智能体在长任务流中持续积累并精炼可复用技能。
前置知识
LLM-based Agent
以大语言模型为决策核心的智能体，通过观察-思考-动作循环（ReAct 范式）与环境交互，使用工具完成多轮任务。执行器一般按 $a \sim \pi_L(\cdot | x_t, o_t)$ 采样动作。
SkillOS 围绕一个冻结的 agent executor 构建整个策展框架，理解 executor 如何利用检索到的技能来行动是把握系统闭环的前提。
程序性记忆与技能
区别于长期事实记忆，程序性记忆存储可复用的如何做知识，技能是其中一种模块化、人类可读的形式，常见为 Markdown 格式的 SKILL.md 文件，包含 YAML 前置元数据与正文指令。
论文把技能作为智能体自演化的核心载体，其 Markdown 化表示与 insert/update/delete 操作直接对应到后续的奖励设计与执行器检索机制。
Grouped Reward Policy Optimization（GRPO）
一种无需独立 critic 的强化学习算法。对同一提示采样 $N$ 条 rollout，以组内奖励均值作为基线计算优势 $A_n = r_n - \frac{1}{N}\sum_{n'} r_{n'}$，再用 PPO 风格的截断目标更新策略。
SkillOS 用 GRPO 优化技能策展器，需要理解分组采样与优势估计才能看懂训练循环如何把延迟的 executor 反馈转化为策展信号。
工具调用与函数签名
LLM 通过生成结构化调用（如 insert_skill/update_skill/delete_skill）来操作外部资源，调用合法性、参数有效性可作为可验证的中间奖励信号。
策展器最终以一串函数调用形式编辑 SkillRepo，$r_{fc}$ 等奖励项直接依赖于函数调用是否被成功执行，是理解复合奖励结构的关键。
研究动机
现有 LLM 智能体普遍是一次性问题求解器，在流式任务流中无法从过往交互中积累经验，导致跨任务的复用效率低下。手动策展（如 Anthropic 的 skills 仓库）依赖专家、难以扩展；提示工程或启发式方法（如 Qiu et al. 2025、Zheng et al. 2025）依赖固定规则，缺乏来自执行器下游表现的反馈，难以适配真实任务分布；而既有 RL 方案（Wang et al. 2025a、Ye et al. 2026）大多只在短任务流内优化插入等局部操作，对 update、delete 等复杂管理动作几乎不提供学习信号，导致策展技能既浅层又难泛化。
本文的目标是论文提出 SkillOS，目标是把技能策展本身建模成一个可学习的长期 RL 问题：通过把执行器冻结、用一个独立的可训练策展器来管理 SkillRepo，让系统从间接、延迟的执行器反馈中学会何时 insert/update/delete 技能，最终得到一个在多轮智能体任务和单轮推理任务上同时具备有效性与效率的模块化自演化框架，且整个策展过程对执行器架构透明、零侵入，可作为插件式组件附加到不同 backbone 上。
与已有工作不同的是，SkillOS 的独特切入角度是把训练实例从单条任务改造成技能相关的任务组——让早期任务沉淀下来的技能被后续相关任务的执行效果反向评估，从而把策展决策的延迟监督转化为稠密、可追溯的 RL 信号；同时通过复合奖励（任务结果 + 函数调用有效性 + 内容质量 + 压缩比）弥补下游反馈稀疏的问题，并在冻结的执行器上证明小模型策展器可以反过来击败 Gemini-2.5-Pro 这种前沿模型直接做策展的效果。
核心方法
SkillOS 把系统拆成冻结的 Agent Executor $\pi_L$ 与可训练的 Skill Curator $\pi_S$ 两个角色。Executor 在每个任务 $x_t$ 上用 BM25 从 SkillRepo $S_t$ 中检索相关子集 $\tilde{S}_t$，再按 $a \sim \pi_L(\cdot | x_t, o_t, \tilde{S}_t)$ 执行；执行结束后 Curator 观察轨迹 $\xi_t$、自判正确性 $\mathbf{1}_{\xi_t}$ 与相关技能，生成 insert/update/delete 的函数调用序列 $c_t$，把 $S_t$ 演进为 $S_{t+1} = \text{ApplyOps}(S_t, c_t)$。整体设计受操作系统管理文件的隐喻驱动，技能以单文件 Markdown 表示，包含 YAML 前置的 name/description 与正文 workflow/when-not-to-use 等小节。
核心创新有两点。第一，将技能策展重写为任务组上的长时序 RL 问题——用 Gemini-2.5-Pro 给每个任务打 skill-relevant 标签 $Z_i$，再按属性相似度聚成组 $G_m = (x_{m,1}, \dots, x_{m,|G_m|})$，让策展器在组内经历完整演化轨迹，早期任务的策展决策会被后续相关任务的成功率反向监督。第二，设计复合奖励 $r = r_{task} + \lambda_f r_{fc} + \lambda_u r_{cnt} + \lambda_c r_{comp}$：$r_{task}$ 量化后续任务平均成功率，$r_{fc}$ 衡量函数调用合法性，$r_{cnt}$ 用 Qwen3-32B 评判技能质量，$r_{comp}$ 用 $1 - |S_i|/\chi_i$ 鼓励简洁。两者结合，把间接、延迟的监督转成可直接优化的稠密信号。
方法步骤详情
完整训练流程由 Algorithm 1 给出：每一步先采样任务组 $G = (x_1, \dots, x_{|G|})$ 并把 SkillRepo 置空 $S \leftarrow \varnothing$；对组内每个任务依次执行四步：(1) BM25 检索 $\tilde{S} \leftarrow \text{BM25}(x_i, S)$；(2) 冻结 $\pi_L$ 执行任务得到轨迹 $\xi_i$；(3) 采样 $c_i \sim \pi_S(\cdot | \xi_i, \tilde{S})$；(4) 应用 $\text{ApplyOps}(S, c_i)$ 更新 $S$。遍历完后用复合奖励 $r$ 计算 GRPO 优势 $A_n = r_n - \frac{1}{N}\sum_{n'} r_{n'}$，并以 $\mathcal{L} = \mathbb{E}_n[\min(\rho_n A_n, \text{clip}(\rho_n, 1-\epsilon, 1+\epsilon) A_n)]$ 更新策略。
技术新颖性
从技术新颖性看，论文至少贡献了三件事：一是把 Anthropic 风格的 Markdown 技能和 OS 风格的文件 I/O 操作绑定到一个 RL 训练闭环里，让技能策展既可执行又可优化；二是首次在训练侧引入任务组加长期反馈结构，把今天插入的技能明天用得上吗变成可验证的监督信号，弥补了 GRPO 类算法对延迟奖励不友好的短板；三是把 $r_{fc}$、$r_{cnt}$、$r_{comp}$ 三种异质中间奖励整合为统一标量，并验证其相对贡献（消融中 $r_{cnt}$ 影响最大，$r_{comp}$ 次之）。实验上最具说服力的新颖性是证明 8B 训练策展器能系统性优于 Gemini-2.5-Pro 直接策展，揭示了策展-执行错配这一新现象。
实验结果
在三个基准、四种执行器组合下 SkillOS 全面领先。ALFWorld Qwen3-8B 执行器平均 SR 从 47.9 升到 61.2（+13.3 绝对点，相对最强基线 +9.8%），平均交互步数从 21.1 降到 18.9；WebShop Qwen3-32B 下 Score 从 41.5 升到 49.2、SR 从 12.2 升到 16.5；推理任务 Gemini-2.5-Pro 下 AIME24/25/GPQA 平均准确率从 81.8 升到 88.6。反直觉的关键发现是：经过 RL 训练的 8B 策展器在所有基准上都优于直接用 Gemini-2.5-Pro 做策展的 SkillOS-gemini（如 ALFWorld Qwen3-8B 下 61.2 vs 50.7）。Figure 3 显示 Reasoning 训练出的策展器跨任务迁移仍达 +4.2~+7.3；Figure 4-5 揭示策展器从扩张走向精炼，meta-strategy 技能占比从约 5% 升到 >50%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（Qwen3-8B 执行器） | 平均成功率（SR↑） | 61.2（18.9 步） | No Memory 47.9（21.1 步）/ ReasoningBank 55.7（20.1 步） | +13.3 绝对点，相对 No Memory 约 +27.8%；相对最强基线 +9.8% |
| ALFWorld（Qwen3-32B 执行器） | 平均成功率（SR↑） | 68.6（17.3 步） | No Memory 54.5（20.3 步）/ SkillOS-gemini 63.6（18.1 步） | +14.1 绝对点，同时平均交互步数 -3.0 |
| ALFWorld（Gemini-2.5-Pro 执行器） | 平均成功率（SR↑） | 80.2（14.8 步） | No Memory 66.4（17.7 步）/ SkillOS-gemini 79.3（14.9 步） | +13.8 绝对点，首次在 frontier executor 上反超 Gemini 自策展 |
| WebShop（Qwen3-32B 执行器） | Score / SR（↑） | 49.2 / 16.5（15.9 步） | No Memory 41.5 / 12.2（17.0 步） | Score +7.7，SR +4.3 个百分点，步数 -1.1 |
| 单轮推理（Gemini-2.5-Pro 执行器） | AIME24 / AIME25 / GPQA 平均准确率 | 92.2 / 86.7 / 86.8（平均 88.6） | No Memory 85.6 / 80.0 / 79.9（平均 81.8） | 平均 +6.8 个百分点，AIME25 提升最大 +6.7 |
| 消融：ALFWorld（Qwen3-8B） | 平均成功率（SR↑） | 61.2（完整 SkillOS） | w/o r_cnt 58.6 / w/o r_comp 60.0 / w/o grouping 57.3 | 完整模型相对最强消融 w/o grouping 仍高 +3.9，说明任务分组结构贡献最大 |
局限与改进
作者与读者可观察到的局限性有四点：(1) 计算开销显著，作者报告 ALFWorld 训练约 3 天、WebShop 约 5 天，单次任务组采样需要 16 张 H100，门槛较高，普通研究者难以直接复现。(2) 任务组构建依赖 Gemini-2.5-Pro 给每条样本打 skill-relevant 标签，这把标签质量直接耦合到前沿模型的输出稳定性，不同版本的标注模型可能引入偏差。(3) 论文把奖励来源压在 $r_{task} + r_{fc} + r_{cnt} + r_{comp}$ 四项上，其中 $r_{cnt}$ 用 Qwen3-32B 充当外部判官，意味着训练流程本身仍重度依赖外部大模型，弱化了对小模型独立学习策展的承诺。(4) 推理类任务上的收益明显小于智能体类任务（AIME/GPQA 平均提升 5~7 个百分点，而 ALFWorld 提升 13+ 个百分点），作者的解释是单轮任务可复用知识更抽象，但说明 SkillOS 并未真正解决跨任务类型的统一策展。
独立分析的弱点
独立审视可发现三个弱点。第一个是任务组即监督的隐含假设：当任务流内部并不存在天然依赖时（如随机抽样的推理题），分组信号就会变弱，Figure 3 也确实显示 ALFWorld/WebShop 训练出的策展器跨到推理任务时收益不稳定，改进方向是引入基于技能 embedding 的软分组或自适应窗口。第二个是奖励权重 $\lambda_f=1.0, \lambda_u=0.1, \lambda_c=0.05$ 是手工设定的，且只做了加 vs 不加的离散消融，没有研究权重耦合或自适应调度，建议未来在 GRPO 框架里做权重在线学习。第三个是 Markdown 技能格式虽然在可读性上占优，但 token 长度随技能数量线性膨胀，Figure 6 显示平均使用 1.95 个技能时仍可能有冗余，改进方向是引入层级化 skill-of-skills 结构或检索时压缩。
未来方向
作者提出的方向主要在 Appendix C 中提到，例如扩展到更长时序、更大规模的任务流并引入更强的执行器（如 Gemini-3.1-Flash-Lite）。基于论文成果可延伸的方向至少包括：(1) 把 SkillOS 与 self-play 或 curriculum learning 结合，让任务组本身由模型动态生成而非静态聚类，从而进一步降低对 Gemini 标签的依赖；(2) 把策展器从 8B 蒸馏到更小规模（≤3B）并研究其在端侧设备上的可用性，验证技能策展是否真正小而强；(3) 把 Markdown 技能与结构化 API 技能混合，使执行器既能调用 LLM 写的启发式也能直接触发确定性子程序；(4) 将复合奖励里的 $r_{cnt}$ 替换为可学习的过程奖励模型（PRM），去掉 Qwen3-32B 这个外部判官，进一步闭环。
复现评估
复现方面整体评估偏中等。代码与训练细节在论文 4.1 节与 Appendix B 中给出：使用 Qwen3-8B 作为策展器底座、GRPO 学习率 $1\times10^{-6}$、batch size 32、group size 8、训练在 16 张 H100 上借助 verl 框架，奖励权重 $\lambda_f=1.0, \lambda_u=0.1, \lambda_c=0.05$ 全部公开。但有几点增加复现难度：(1) 训练数据依赖 Gemini-2.5-Pro 标注的属性与 Qwen3-32B 的内容质量打分，这些 judge 模型与权重在外部，普通团队需要自建等价打分管线；(2) 评测涉及 BM25 检索、ALFWorld/WebShop/DeepMath 等环境的特定版本以及自实现的 judge prompt，关键 prompt 与功能调用 schema 在附录里给出但仍需逐字对齐；(3) 硬件门槛较高，单任务组单步 GRPO 更新需要 16 卡 H100 集群跑 2.5~5 天。建议在论文开源代码后再尝试完整复现；仅复现推理与消融实验可在 1~2 张 A100 上完成。
论文图表
