Skill1：通过强化学习统一演化技能增强型智能体

用单一任务结果信号同时驱动技能选择、利用与蒸馏三阶段协同演化

前置知识

POMDP（部分可观测马尔可夫决策过程）

POMDP 是强化学习中的通用建模框架，由状态 $S$、动作 $A$、观测 $O$、转移函数 $T$、观测函数 $\Omega$、奖励 $R$、折扣因子 $\gamma$ 组成。智能体不能直接看到完整状态，只能通过带噪声的观测做决策。

本文把技能增强的智能体学习形式化为 POMDP $M=(S,A,O,T,\Omega,R,\gamma)$，是后续推导选择、利用、蒸馏三类奖励信号的理论起点。

GRPO（Group Relative Policy Optimization）

GRPO 由 DeepSeek 提出，对同一任务的 $G$ 条 rollout 计算组内相对优势 $\hat{A}_i = (r_i - \mathrm{mean}(r_{1:G}))/\mathrm{std}(r_{1:G})$，无需单独训练价值网络。本文 $G=16$。

利用与蒸馏两类目标都基于 GRPO 推导组内归一化优势，是把'单一任务信号'扩展到多阶段优化的核心工具。

技能库与语义检索

技能库是持久化集合 $B=\{s_i\}$，每个技能 $s$ 由策略 $s.\mathrm{strat}$ 与适用场景 $s.\mathrm{desc}$ 组成。通过冻结的句子编码器 $E$ 计算查询与描述的语义相似度，检索 top-K 候选。

技能库是 Skill1 框架的核心数据结构，容量上限 $N_{\max}=5000$，其内部排序与淘汰机制直接决定选择精度。

重排与 NDCG

重排是对初检 top-K 候选再排序，本文中策略 $\pi_\theta$ 输出一个排列 $\sigma$。NDCG（归一化折损累计增益）衡量该排列与按效用降序的目标排列之间的一致度。

选择阶段的可学习信号 $R_{\mathrm{rerank}} = \mathrm{NDCG}(\sigma_i, \mathrm{argsort}(-U(B_i^K)))$ 直接由 NDCG 给出，是低频趋势信号的具体落点。

LLM 智能体多轮环境交互

LLM 智能体在文本环境（ALFWorld、WebShop）中以多轮方式决策：每轮由策略 $\pi_\theta$ 输出动作 $a_t$，环境返回观测 $o_t$，直到终止并得到二值奖励 $r(\tau)\in\{0,1\}$。

智能体在 ALFWorld 和 WebShop 上的多轮交互是 Skill1 训练数据的来源，'利用'阶段就是这种条件化 rollout。

指数移动平均效用分数

每个被检索到的候选技能 $s$ 维护一个效用分 $U(s)$，按 $U(s) \leftarrow (1-\alpha)U(s) + \alpha r(\tau_i)$ 更新，$\alpha$ 控制平滑强度。本文对所有被检索候选而非仅被选中者更新。

$U(s)$ 既提供重排目标，也提供蒸馏变分基准 $\hat{U}_i = \max_{s\in B_i^K} U(s)$，是'低频趋势'概念的算法实现。

研究动机

现有方法优化技能增强型 LLM 智能体时存在两个根本缺陷。第一，技能生命周期（选择、利用、蒸馏）的能力被分别优化，至少有一个阶段缺少策略梯度，导致优化瓶颈。例如 RetroAgent 不优化选择、SkillRL 冻结选择机制；最强无技能 RL 方法 GiGPO 虽达 90.8% 但没有显式技能库，性能受限于参数隐式吸收策略。第二，多个能力用不同奖励源，引入冲突信号。Li et al. (2026a)、Zhang et al. (2026a) 的工作里，选择可能用启发式匹配分、蒸馏用自评质量、利用用任务结果，三者无法朝共同目标演化。

本文的目标是本文提出 Skill1 框架，目标是用单一任务结果信号 $r(\tau)\in\{0,1\}$ 同时训练策略 $\pi_\theta$ 完成技能选择、利用、蒸馏三阶段，让三者协同演化到共同的 task-outcome 目标上。具体而言，所有学习信号都从 $r(\tau)$ 派生，无需辅助奖励模型、额外 rollout 或启发式评估器，最终在 ALFWorld 和 WebShop 上把技能增强型智能体的成功率推到当前 SOTA。

与已有工作不同的是，本文的独特切入角度是把单一任务信号 $r(\tau)$ 分解为低频趋势（技能效用的指数移动平均 $U(s)$）和高频变分（当前结果 $r(\tau)$ 与趋势 $\hat{U}_i$ 之差）。低频趋势用来信用分配给选择（重排），高频变分用来信用分配给蒸馏，利用直接用 $r(\tau)$ 本身。这一分解让'用同一信号驱动三阶段'在数学上自洽，区别于 RetroAgent（多源奖励、缺选择梯度）和 SkillRL（冻结选择、冷启动 SFT）只覆盖部分阶段的做法。

核心方法

方法整体思路分三步。第一步定义工作流：每条轨迹 $\tau=(q, z, a_{1:T}, o_{1:T}, s_{\mathrm{new}})$ 由选择查询 $q$、重排选中的技能 $z$、多轮动作-观测、蒸馏出的新技能 $s_{\mathrm{new}}$ 拼接而成。第二步把 $r(\tau)$ 分解为低频趋势 $U(s)$（用作选择信用）和高频变分 $r(\tau)-\hat{U}$（用作蒸馏信用），利用直接用 $r(\tau)$。第三步把三段拼接在同一条轨迹上做联合优化：利用与查询用 GRPO 共享组内归一化优势，重排用 REINFORCE 风格（每条 rollout 检索集 $B_i^K$ 不同导致组内比较失效），蒸馏用 GRPO 但归一化基线与利用分开。最终目标 $J(\theta) = J_{\mathrm{util}} + \lambda_1 J_{\mathrm{rerank}} + \lambda_2 J_{\mathrm{distill}}$。

核心创新点是把'时间尺度'作为信用分配的物理量。选择关心跨 episode 的稳定性，利用关心单 episode 的成败，蒸馏关心相对库现有边界的增量贡献——这三种能力天然运行在不同的'频率'上。因此把 $r(\tau)$ 通过 EMA 拆成低频（趋势）和高频（变分）两条独立信号，分别贴给选择和蒸馏。本质区别于已有工作：RetroAgent 用独立内在奖励（选择信号缺失），SkillRL 冻结选择（无法联合演化），EvolveR 的蒸馏也用自评分（多源信号冲突）。Skill1 的'单一信号、多频带分解'既是表征层面的新意，也是工程上不依赖额外奖励模型与 rollout 的关键。

方法步骤详情

按 Algorithm 1 推进。对一批 N 任务、每个 G=16 条 rollout：策略先生成查询 q，检索 top-K 候选并重排选出技能 z；再以 z 的策略为条件做多轮利用 rollout τ，与 ALFWorld/WebShop 交互；结束后反思轨迹生成新技能 (s.strat, s.desc)，仅当 r(τ)=1 时入库，库满 N_max=5000 时按 U(s)·log n(s) 淘汰弱者；基于任务结果 r(τ) 计算三段奖励：利用奖励直接是 r(τ)，重排奖励用 NDCG 度量 σ 与按 U 降序排列的一致度，蒸馏奖励是 r(τ) 减去检索集中最高效用 Û；用 EMA 更新 U(s) ← (1-α)U(s) + α r(τ)；最后单步联合优化 J = J_util + λ₁ J_rerank + λ₂ J_distill。

技术新颖性

技术新颖性体现在三方面。第一，奖励来源的彻底统一：所有信号都从 $r(\tau)$ 派生，无辅助奖励模型、无额外 rollout、无自评器，工程代价低。第二，频带分解作为信用分配原则：低频趋势和高频变分在数学上正交，因此可独立优化且不相互干扰，是论文最强的理论贡献。第三，库管理的新指标 $U(s)\cdot \log n(s)$：把低效用与低使用频次结合做淘汰，避免'曾经有效但被新技能超越'的过期策略滞留库内。配合'按 NDCG 学习重排'和'变分为正才允许入库'两个机制，Skill1 在 $387\,\mathrm{s} \to 494\,\mathrm{s}$ 的训练成本下达到 $97.5\%$ 的 ALFWorld 平均成功率。

**Figure 2**: Overview of the Skill1 framework

实验结果

核心发现分四块。表 1 主结果：Skill1 在 ALFWorld 六类任务上平均成功率 97.5%，比上一最佳 RetroAgent (94.9%) 高 2.6 点，五类任务第一（Pick 100.0、Look 98.6、Heat 99.2、Cool 96.1、Pick2 96.0），仅 Clean (97.3) 略低于 RetroAgent (99.2) 但统计不显著；WebShop 上得分 89.7、成功率 82.9，均为 SOTA。表 2 消融：去掉技能库掉 16.6 点最严重，去掉蒸馏掉 5.1 点，去掉选择掉 5.7 点；$\lambda_1=0$、$\lambda_2=0$、$\lambda_1=\lambda_2=0$ 分别掉 3.5、2.6、7.3 点，证明两个辅助目标互补。图 3 训练动力学：选择精度先收敛到 0.95（步 20），随后利用与蒸馏在步 60 都到 0.8，呈现'链式加速'。

**Table 1**: Main results on ALFWorld and WebShop (Success Rate, %)

**Table 2**: Ablation study on ALFWorld (Success Rate %)

**Table 3**: Computational cost on ALFWorld training

**Figure 3**: Training dynamics of the three capability metrics

**Figure 4**: Task-skill similarity at three training checkpoints

**Figure 5**: Top-skill utility (Û) during training

**Figure 6**: T-SNE visualization of the skill libraries after convergence

查看结构化数据

任务	指标	本文	基线	提升
ALFWorld Pick	Success Rate (%)	100.0	RetroAgent 97.9	+2.1
ALFWorld Look	Success Rate (%)	98.6	RetroAgent 90.9	+7.7
ALFWorld Clean	Success Rate (%)	97.3	RetroAgent 99.2	-1.9（附录 D 表明统计不显著）
ALFWorld Heat	Success Rate (%)	99.2	RetroAgent 92.9	+6.3
ALFWorld Cool	Success Rate (%)	96.1	SkillRL 95.5	+0.6
ALFWorld Pick2	Success Rate (%)	96.0	RetroAgent 91.0	+5.0
ALFWorld Avg.	Success Rate (%)	97.5	RetroAgent 94.9	+2.6
WebShop Score	Average Score	89.7	RetroAgent 88.9	+0.8
WebShop Success	Success Rate (%)	82.9	RetroAgent 82.3	+0.6
ALFWorld Avg. (vs RL-only)	Success Rate (%)	97.5	GiGPO 90.8	+6.7

局限与改进

作者承认的局限有两条。其一，环境覆盖有限：只评估了 ALFWorld（家庭文本环境）和 WebShop（在线购物模拟器）两个文本场景，对深度搜索、视觉观测、多模态环境的泛化性未知。其二，技能库容量瓶颈：$|B|\le 5000$ 是固定上限，随着任务多样性增加，固定大小库可能成为瓶颈，需要更复杂的淘汰或分层组织策略。我的额外观察：(a) Skill1 的时间开销在 step 100 达到 493.8s，相比 GRPO baseline 的 296.7s 增加 66%，库规模膨胀是主要成本源；(b) WebShop 提升幅度（+0.6）远小于 ALFWorld（+2.6），说明统一信号在更结构化的购物环境中边际效益有限。

独立分析的弱点

独立分析的弱点有三点。第一，NDCG 作为重排奖励是离散监督信号的近似，对排列质量的梯度稀疏——只在偏离最优序时有信号，且不同 rollout 检索集 $B_i^K$ 不同导致组内比较失效（论文不得不改用 REINFORCE 单条优化），改进方向是用 listwise softmax 分布与 ListMLE 让梯度更密集。第二，'高频变分' $r(\tau)-\hat{U}$ 假设 $\hat{U}$ 反映库水平，但 $\hat{U}$ 由同一策略维护，初期 $\hat{U}$ 不稳会污染蒸馏信号；可考虑分阶段 warmup 或对 $\hat{U}$ 加置信区间，让 $r(\tau)$ 在 $\hat{U}$ 收敛前不参与蒸馏梯度。第三，重排与蒸馏两段奖励都依赖 $r(\tau)$，在长尾任务上稀疏；可引入课程学习或 bootstrap 让信号更密集，缓解稀疏问题。

未来方向

作者提出的下一步是把 lifecycle 扩展到分层或多智能体场景，在那里技能共享与冲突解决会引入新的统一信用分配挑战。基于成果可延伸的方向：(a) 频带分解可推广到分层 RL，把不同时间尺度的技能对应不同抽象层；(b) EMA 趋势 $U(s)$ 实质是一个'技能价值函数'，可与值函数或世界模型结合做计划；(c) 图 6 的 t-SNE 可视化显示 Skill1 的策略在策略空间分布更广，下一步可研究多样性约束与覆盖率指标；(d) WebShop 仅 +0.6 的提升空间暗示在结构化环境里需要更细粒度的任务-技能对齐机制。

复现评估

复现评估：论文在 https://github.com/AlphaLab-USTC/Skill1 公开了代码。基模是开源的 Qwen2.5-7B-Instruct，编码器是 all-MiniLM-L6-v2（也是开源）。超参在论文正文 + 附录 C 给出完整列表：$\mathrm{lr}=1\times 10^{-6}$、$G=16$、$|B|\le 5000$、$\alpha$ 与 $\lambda_1,\lambda_2$ 在附录列出。训练硬件为 8 块 H800 80GB GPU，单步时间 $387\,\mathrm{s} \to 494\,\mathrm{s}$，按 100 步算约 11-14 小时，门槛不低。实验数据用 ALFWorld、WebShop 官方 train/test 划分，报告了三次随机种子平均与显著性检验（附录 D）。复现难度中等：代码可得、基模开源，但 GRPO + 多阶段拼接 + EMA 维护 $U(s)$ 的工程链路较长，需要熟悉 LLM RL 训练栈。

Skill1：通过强化学习统一演化技能增强型智能体 Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning