Skill0.5：用于智能体强化学习分布外泛化的技能内部化与利用联合框架 Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning
通过差异化处理通用技能内部化与任务特定技能动态利用，提升智能体在OOD场景下的泛化能力。
前置知识
技能
技能是封装可重用程序性知识的文本化指令，分为通用技能（跨领域适用的元推理、错误恢复等）和任务特定技能（针对特定任务的细粒度执行规则）。在运行时，这些技能会被检索并注入到智能体的提示词中，显式指导其完成复杂工作流程。
论文的核心就是如何有效地训练智能体使用技能，理解技能的分类和特性是理解本文差异化处理策略的基础。
分布外泛化
在机器学习中，分布外泛化指模型在面对训练时未见过的任务分布时仍能保持性能的能力。在本论文场景中，智能体在训练时接触ID任务及其配套技能，但部署时需要处理OOD任务及未见过的任务特定技能。
本文主要贡献就是在OOD场景下取得显著提升，理解OOD设定是评估论文贡献的关键。
GRPO
GRPO是一种强化学习算法，通过在组内对多个轨迹的奖励进行标准化计算优势值，然后使用裁剪的策略梯度目标来更新策略。它是PPO的变体，专门适配多智能体LLM训练场景，能有效避免reward hacking问题。
GRPO是本文的底层优化算法，理解其工作原理有助于理解Skill0.5的中等任务和简单任务优化策略。
特权蒸馏
特权蒸馏是一种训练技术，其中教师模型可以访问额外信息（特权信息），但学生模型必须学习在不直接访问该信息的情况下完成相同任务。通过JSD（Jensen-Shannon Divergence）等损失函数，学生模型被迫模仿教师的行为轨迹，从而将特权知识内化到自身参数中。
这是Skill0.5处理困难任务的核心技术，通过将通用技能作为特权信息，让学生模型学会在无需显式提示的情况下也能进行正确的元推理。
上下文学习
上下文学习是LLM的一种能力，指通过在提示词中提供示例或指令，让模型在不更新参数的情况下适应新任务。然而，当上下文过长时会显著影响模型的推理性能，这种现象被称为lost in the middle问题。
全外部化方法受到ICL能力限制是论文要解决的核心问题之一，理解这个限制有助于理解为什么需要内部化通用技能。
研究动机
在真实部署场景中，智能体的技能库会通过用户贡献动态扩展，经常遇到不熟悉的任务和未见过的OOD任务特定技能。现有的基于技能的强化学习方法采用两种极端范式：完全外部化（如SkillRL）将所有技能保持在上下文中，这会产生巨大的上下文开销，当技能数量增多时会导致LLM的ICL能力退化，特别是在长时序任务中；完全内部化（如SKILL0）试图将所有技能完全吸收到模型参数中，但这受限于模型容量，并且当外部新技能与内部化模式冲突时会导致执行幻觉。例如，在ALFWorld的Heat & Place任务中，SkillRL因为上下文包含约1617个token的通用技能，OOD特定技能仅占12%，导致ID训练的冰箱到冷却关联覆盖了新的OOD指令。而SKILL0在Examine in Light任务中，尽管接收到OOD技能，但激活了内部化的ID程序模板，执行了与指令冲突的move bowl to sidetable动作。
本文的目标是本文的目标是设计一个统一的智能体强化学习框架，能够在动态、真实的技能部署场景中实现通用技能和任务特定技能的联合优化。具体而言，要让智能体在ID任务上保持适度提升的同时，在OOD任务上获得显著的泛化能力增强。在ALFWorld基准上，相比最强的技能增强基线SkillRL，要在ID设置下提升2.3%，在OOD设置下提升13.2%；在WebShop基准上，要在ID和OOD设置下分别提升2.1%和3.9%。
与已有工作不同的是，本文的独特切入点在于明确区分了通用技能和任务特定技能的内在本质差异：通用技能（如元推理、错误恢复）是领域无关但长度较长的，应该被内部化以建立高效的认知基础；任务特定技能是细粒度执行规则，需要动态更新且易受检索噪声影响，应该在外部动态利用以增强适应性。现有方法将这两类技能统一处理，要么全部外部化导致上下文负担过重，要么全部内部化导致过拟合和知识冲突。本文抓住了这个被忽视的本质区别，提出了差异化处理的新范式，在认知科学的学习者必须先构建基础认知图式才能高效处理领域特定规则理论指导下，设计了一个难度感知的路由器来动态分配优化策略。
核心方法
Skill0.5的核心直觉借鉴了人类技能习得的认知科学原理：学习者必须先掌握基础策略，然后才能有效利用细粒度规则。该框架采用两阶段设计。第一阶段是难度感知路由，通过在标准提示词下采样G条轨迹，计算经验通过率pi，将任务分为三档：困难任务（pi等于0）完全失败；中等任务（0小于pi小于等于eta_t）有一定成功但未达阈值；简单任务（pi大于eta_t）成功率较高。第二阶段是分档优化：困难任务使用特权蒸馏，通过引入通用技能作为特权信息生成教师轨迹，然后用JSD损失迫使学生模型（仅使用特定技能）模仿教师行为；中等任务应用标准GRPO最大化成功率；简单任务使用反捷径探测，通过无技能提示词采样轨迹，计算利用率收益ui，并在优势函数中加入任务级调整Aui来惩罚绕过技能指导的行为。
本文的核心创新在于显式区分通用技能和任务特定技能，并通过难度感知路由器实现内部化基础加利用细节的联合优化。这与已有方法的本质区别在于：SkillRL采用完全外部化，将所有技能保持在上下文中，导致OOD特定技能被海量通用技能淹没；SKILL0采用完全内部化，将所有技能吸收到参数中，导致无法适应新技能且存在参数级知识冲突；SLIM采用统一生命周期管理，可能错误地过早退休通用技能，导致认知退化。Skill0.5的差异化处理通过JSD蒸馏永久嵌入通用技能作为不可退休的认知基础，同时通过反捷径优势探测确保忠实执行OOD特定技能，从根本上解决了外部化导致上下文干扰、内部化导致参数冲突、统一管理导致认知退化三种失败模式。
方法步骤详情
Skill0.5的完整工作流程分为两阶段。第一阶段（难度感知路由）：对批次中的每个任务xi，使用标准提示词ct_std等于Kt(xi)采样G条轨迹，计算经验通过率pi，其中R属于0和1是二元环境回报。基于滑动窗口平均eta_t作为动态阈值，将任务路由到三档：困难（pi等于0）、中等（0小于pi小于等于eta_t）、简单（pi大于eta_t）。第二阶段（分档优化）：对困难任务，采样特权轨迹其中ct_priv等于SG加上Kt(xi)，过滤成功轨迹构建黄金集T，通过JSD损失L_hard进行蒸馏；对中等任务，直接复用第一阶段轨迹，使用标准GRPO目标L_medium；对简单任务，采样无技能轨迹计算pi_none，得到利用率收益ui，计算复合优势hat_Ai(g)等于Ai(g)加上Aui，使用替代GRPO目标L_easy。
技术新颖性
Skill0.5的技术新颖性体现在三个层面。首先，从范式层面提出了技能差异化处理的新框架，突破了现有方法要么全外部化、要么全内部化的二元对立，抓住了通用技能和任务特定技能的本质区别。其次，从算法层面设计了难度感知路由器，通过实时任务掌握率动态分配优化策略，解决了GRPO在困难任务上的梯度消失问题（零奖励方差导致优势坍塌）和在简单任务上的模式坍塌问题（饱和导致探索退化）。第三，从损失函数层面引入了反捷径探测的优势调制，通过hat_Ai(g)等于Ai(g)加上(ui减去ut)除以sigma_u的全局任务级调制，将轨迹质量评估和技能利用率评估结合，从根本上防止了智能体记忆虚假映射而非真正利用特定技能。这种设计在认知科学上有坚实的理论基础（Sweller的认知负荷理论），在工程实现上解决了长时序智能体训练的核心痛点。
实验结果
论文在ALFWorld和WebShop两个基准上进行了全面评估，主要发现包括：Skill0.5在所有设置下都实现了最佳性能，相比最强的技能增强基线SkillRL，在ALFWorld上取得了ID设置提升2.3%（从90.8%提升到93.1%）和OOD设置提升13.2%（从45.3%提升到58.5%）的绝对提升，在WebShop上取得了ID设置提升2.1%（从38.3%提升到40.4%）和OOD设置提升3.9%（从36.7%提升到40.6%）的绝对提升。训练动态分析显示，Skill0.5在早期阶段克服了梯度消失问题，通过特权蒸馏快速突破探索死锁；在中后期阶段，反捷径利用率训练保持了OOD任务上的持续改进，而SkillRL在后期出现训练成功率上升但验证和OOD性能下降的过拟合现象，SKILL0在OOD任务上始终被压制，SLIM因过早退休通用技能导致严重震荡。消融研究证实了联合设计的必要性：Internalize-Only变体（移除反捷径利用率训练）在ID和OOD上分别下降3.5%和5.7%；Utilize-Only变体（移除特权蒸馏）在ID和OOD上分别下降8.0%和7.6%，说明内部化是能力基础，利用率是泛化关键。案例分析揭示了三种不同的失败模式：SkillRL遭受上下文干扰（OOD特定技能被ID训练的惯用关联覆盖），SKILL0遭受参数知识冲突（内部化ID模板与OOD过程不兼容），SLIM遭受行为退化（过早退休通用技能导致认知侵蚀），而Skill0.5通过类型差异化处理成功避免了这三种失败模式。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld (ID) | 平均成功率 | 93.1% | SkillRL 90.8% | +2.3% |
| ALFWorld (OOD) | 平均成功率 | 58.5% | SkillRL 45.3% | +13.2% |
| WebShop (ID) | 平均成功率 | 40.4% | SkillRL 38.3% | +2.1% |
| WebShop (OOD) | 平均成功率 | 40.6% | SkillRL 36.7% | +3.9% |
| ALFWorld Pick (ID) | 成功率 | 94.3% | SkillRL 91.4% | +2.9% |
| ALFWorld Heat (OOD) | 成功率 | 87.5% | SkillRL 75.0% | +12.5% |
局限与改进
作者承认本文在两个方面的局限性。首先，框架仅在基于文本的交互环境中（ALFWorld和WebShop）进行了验证，尚未扩展到代码生成、多模态环境、开放网页导航等更复杂领域，这些领域可能涉及更长的时序和更大的动作空间。其次，技能检索采用了简单的Top-K语义匹配，在技能库规模庞大时可能不够精准，需要更先进的检索策略。此外，从独立观察角度，本文的难度感知路由器仅通过经验通过率来判断任务难度，可能在某些场景下不够鲁棒。例如，一个任务可能因为随机噪声导致初期通过率为0（被判定为困难），但实际上只需要简单调整即可成功，这种误判会导致不必要的蒸馏开销。另外，反捷径探测的无技能轨迹采样增加了计算成本（需要额外的G条轨迹），在资源受限场景下可能难以负担。
独立分析的弱点
本文存在几个具体弱点。首先，难度路由器的阈值计算基于滑动窗口平均，在训练初期任务样本较少时可能不稳定。例如，窗口大小W等于5时，前5个批次的平均波动很大，可能导致任务档位频繁切换。改进方向可以引入温度参数平滑路由决策，或者使用指数移动平均代替简单平均。其次，反捷径探测需要为每个简单任务采样额外的无技能轨迹，增加了50%的计算开销。在资源受限场景下，可以采用稀疏采样策略（仅在利用率收益异常低时触发探测）或者使用更高效的无监督检测方法（如分析智能体推理链中是否引用技能指令）。第三，JSD蒸馏仅对成功轨迹进行，当困难任务完全没有成功轨迹时（这在早期训练阶段很常见），蒸馏信号会完全缺失，导致优化停滞。改进方向可以引入部分成功的轨迹级蒸馏（使用部分正确的轨迹作为软目标）或者使用预测性奖励模型提供训练信号。最后，当前实现假设通用技能在所有领域都是有效的，但在某些极端情况下，通用技能可能与特定领域的OOD任务产生系统性冲突（例如，通用技能强调系统性探索但某个OOD领域要求直接跳过探索）。这种情况下，可能需要设计冲突检测机制来动态调整通用技能的权重。
未来方向
作者提出的未来方向包括将Skill0.5扩展到代码生成、多模态环境、开放网页导航等更复杂领域，以及处理更长时序和更大动作空间的场景。基于本文成果，可以延伸出几个有潜力的研究方向。首先是自适应技能生命周期管理：当前框架假设通用技能永久保留，但某些通用技能可能在特定OOD域中失效或有害，可以设计技能重要性的在线评估机制，动态调整不同技能的内部化程度。其次是层级技能发现：当前框架使用预定义的技能库，可以结合自动技能发现在线学习新的技能，并将它们自动分类到通用或特定池中。第三是跨模态技能迁移：将文本环境中学到的元推理技能迁移到视觉或代码环境中，探索技能表示的跨模态通用性。第四是协作技能学习：在多智能体场景中，不同智能体可以共享通用技能但维护各自的任务特定技能，研究技能共享的通信协议和隐私保护机制。最后是技能不确定性量化：在OOD场景中，智能体可能对特定技能的适用性不确定，可以引入贝叶斯方法量化技能使用的不确定性，在不确定性高时回退到保守策略或请求人类干预。
复现评估
论文承诺代码开源（https://github.com/JasonZhujp/Skill0_5），但目前需要等待代码发布。实验使用Qwen2.5-7B-Instruct作为基础模型，在4张H800 GPU上训练，ALFWorld训练120步，WebShop训练150步，批次大小为16个任务，GRPO组大小G等于8。超参数设置包括学习率1乘以10的负6次方、KL正则化系数0.01、熵奖励系数0.001、无效动作惩罚系数0.1。技能检索使用Qwen3-Embedding-0.6B模型，检索容量K等于3，滑动窗口大小W等于5。最大提示词长度为6000 token，最大响应长度为768 token。基于这些信息，复现难度为中等。主要挑战在于需要足够的GPU资源（4张H800）和较长的训练时间，以及需要正确实现JSD蒸馏的反向传播（涉及stop-gradient操作）。另外，ALFWorld和WebShop环境的配置和ID或OOD划分需要仔细按照论文附录B的说明进行。对于算力受限的研究者，可以考虑使用更小的模型（如Qwen2.5-1.5B）或减少训练步数，但这可能会影响最终性能。
论文图表
这张图详细展示了在ALFWorld OOD任务上Skill0.5与各基线的轨迹对比。每个案例都展示了失败轨迹的关键步骤和推理过程，以及Skill0.5的成功轨迹。例如，在Heat and Place任务中，SkillRL在加热后执行用冰箱冷却而非直接放置，而Skill0.5直接放置热土豆到冰箱。
这张图通过定性分析揭示了不同失败模式的深层原因，帮助理解为什么差异化技能处理能够解决上下文干扰、参数冲突和行为退化问题。