SkillRise：面向跨任务技能演化的智能体强化学习 SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution

训练流程分四步。(1) 跨任务序列构造：用环境提供的任务族元数据把任务分族，在每个族内贪心挑选多样实例，并按任务属性从简到难排序（如 WebShop 按产品类别分组、按所需属性和选项数排序），得到长度 $K=3$ 的序列。(2) 带技能演化的 rollout：从空文档 $S_0=\emptyset$ 出发，对第 $i$ 个任务先用当前文档生成解题轨迹并得奖励 $r_i=R(\tau_i)$；除最后一个任务外，同一策略切换到整理角色，重写整份文档 $S_i\sim\pi_\theta(\cdot|S_{i-1},\tau_i,r_i)$，保留有用技能、整合成功流程或失败模式、去除实例细节。每个序列采样 $N=8$ 个独立试验。(3) 解耦信用分配：解题得当前奖励，整理得后续折扣收益，折扣因子 $\gamma=0.6$。(4) 角色感知组相对优化：对固定序列、任务位置、阶段比较 $N$ 个试验的收益算优势，用裁剪目标联合优化所有解题与整理响应；actor 学习率 $1\times10^{-6}$，mini-batch 128，最多 150 个更新步。

技术新颖性体现在三点。其一，建模新颖：首次把'跨任务技能学习'明确形式化为对有序任务序列的端到端优化，用后续任务表现直接评估技能可迁移性，而非依赖外部评估或多阶段中间指标。其二，机制新颖：用单一策略承担解题与整理两个角色，技能文档作为唯一跨任务通道，彻底摒弃外部技能库、教师蒸馏、检索模块，使 SkillRise 运行时间仅为 RetroAgent 的 $1/6$、SkillRL 的约 $1/4.3$。其三，优化新颖：解耦信用分配按时间角色对齐监督，并通过角色感知分组避免两类收益互相作为基线，与 GRPO、GiGPO 等'按任务独立分组'形成对照。消融显示这些设计缺一不可——去掉整理阶段约掉 3 个百分点，而对 $\gamma\in\{0.3,0.4,0.6,0.7\}$ 不敏感，说明信用分配对超参鲁棒。

独立分析有以下弱点。(1) 对任务族元数据强依赖：当任务流没有清晰族结构或难度标签（如开放网页操作、软件工程）时，序列构造无法直接套用。改进方向是用嵌入相似度或聚类自动发现任务族、用模型自身探索估计难度，做到无监督序列构造。(2) 技能文档缺校验：策略重写文档时不保证内容与环境一致，可能编造不存在的规律。改进方向是引入'技能验证'步骤——在受控小任务上试用新技能再决定是否保留，或对文档施加一致性约束。(3) 训练序列长度固定 $K=3$：限制技能演化深度，长序列下信用衰减可能让早期整理信号过弱。改进方向是变长序列、课程式延长 $K$ 或分层信用分配。(4) 只在可验证奖励的文本环境验证：对连续奖励或主观任务支持不足，改进方向是结合过程奖励或偏好信号。

作者提出的方向包括：自动发现开放任务流中的任务关系（摆脱元数据依赖）、在更大参数规模验证、扩展到多模态与真实世界及不易验证的任务。基于本文成果还可延伸：第一，把'技能文档'从纯文本升级为结构化或可执行的程序化技能，提升表达力与可校验性；第二，研究技能的终身积累与遗忘——当任务族数量巨大时如何组织、检索与淘汰技能；第三，把跨任务技能学习与多智能体协作结合，让团队共享技能文档；第四，探索技能文档的可解释性，分析策略究竟'学到了什么可迁移规律'，连接机制可解释性研究；第五，把测试时扩展从序列长度推广到技能组合、自我反思深度等更多维度。

复现性较好。作者已公开代码（https://github.com/Within-yao/SkillRise），附录给出 ALFWorld/WebShop/ScienceWorld 三套完整的解题与整理 prompt 模板，以及两个详尽案例研究展示技能文档如何从失败和增量修订中演化。关键超参透明：骨干为 Qwen3-1.7/4B，每批 16 个序列、$K=3$、$N=8$，actor 学习率 $1\times10^{-6}$，mini-batch 128，最大响应 1024 token，最多 150 个更新步，$\gamma=0.6$，评估温度 0.7，128 个留出实例。硬件要求较高——用 FSDP+vLLM 在 8 张 NVIDIA H800 上训练，对中小团队有一定门槛。三个基准均为公开交互环境，任务族元数据由环境提供。总体看方法描述、超参与 prompt 齐全，主要门槛是 8 卡 H800 算力成本与对 vLLM/FSDP 训练框架的工程能力。