SKILL0：面向技能内化的上下文强化智能代理学习

通过上下文强化学习将agent技能内化到模型参数，实现零样本自主行为

前置知识

强化学习

一种机器学习范式，智能体通过与环境交互获得奖励信号，学习最优策略以最大化累积奖励。在LLM领域，通常使用策略梯度方法，如PPO、GRPO等，通过采样轨迹、计算优势函数、更新策略参数来优化模型行为。

本文使用In-Context Reinforcement Learning作为核心技术框架，需要理解RL的基本原理、策略梯度、优势函数等概念才能掌握方法设计。

上下文学习

指大语言模型在不更新参数的情况下，通过在输入上下文中提供示例或指令来学习新任务的能力。本文扩展了这个概念，将技能作为上下文提供，但目标是让模型最终不依赖这些上下文。

本文提出的ICRL框架是对传统上下文学习的创新性扩展，理解ICL有助于理解SKILL0如何从有技能上下文过渡到无技能上下文的训练过程。

课程学习

一种训练策略，从简单到复杂逐步提供训练数据或调整训练条件。本文的Dynamic Curriculum是自适应的，根据策略当前学习状态动态调整技能预算，而非固定难度序列。

Dynamic Curriculum是SKILL0的核心组件之一，理解课程学习的基本思想有助于理解技能逐步撤回的设计动机和实现机制。

研究动机

现有LLM agent技能增强方法主要依赖推理时技能检索和注入，这存在三个根本性限制。首先，检索噪声会引入无关或误导性指导，污染agent的上下文，因为语义相似度检索可能返回不相关或错误的技能描述。其次，注入的技能内容在多轮交互中累积带来大量token开销，论文中SkillRL在ALFWorld任务上每步需要2.21k tokens，在Search-QA上需要0.87k tokens，这限制了可扩展性。最关键的是，在提示中遵循技能描述的模型是在执行技能而非学习技能，能力存在于上下文中而非模型参数内，这意味着模型永远不会真正掌握这些技能。作者形象地指出，现有的推理时技能增强方法将agent永久锚定在显式指导阶段，就像人类学习中停留在指令阶段而无法内化到自主记忆阶段。

本文的目标是本文的核心目标是探索能否将技能内化到模型参数中，使推理时无需任何运行时技能检索就能实现零样本自主行为。具体来说，要设计一个训练框架，让模型从依赖技能上下文的执行逐步过渡到完全自主的零样本行为，最终在推理时不需要任何外部技能检索。作者希望通过强化学习驱动agent将有效策略固化为内在策略，而不是从上下文读取。此外，还需要解决技能如何组织、如何评估技能有用性、如何设计渐进式撤回技能的课程等具体问题，并验证这种内化方法的有效性。

与已有工作不同的是，本文的独特切入点是将技能内化明确作为训练目标，而非改善技能检索和注入。现有工作如SkillRL、Mem0、ExpeL等专注于技能提取、组织和检索，而SKILL0首次提出通过强化学习将技能内化到模型参数。这个切入角度的变革性在于：它不是问如何更好地检索技能，而是问如何让模型学会技能，从而根本性地消除推理时的token开销和检索噪声问题。这就像从依赖外部说明书转向将说明书内容内化为专业知识。另一个独特之处是引入Dynamic Curriculum，基于on-policy有用性动态决定何时撤回每个技能，而非采用刚性预设课程。

核心方法

SKILL0采用In-Context Reinforcement Learning (ICRL)框架，核心思想是在训练rollout时提供技能作为上下文指导，但在推理时完全移除，让RL优化直接驱动从依赖上下文执行向自主行为的过渡。方法整体分为三个层次：首先是技能管理和上下文渲染，技能按层次组织到SkillBank中，包含通用技能和任务特定技能，训练时根据on-policy有用性选择技能子集；然后是ICRL训练，采用复合奖励函数同时优化任务成功率和压缩效率；最后是Dynamic Curriculum学习，通过线性衰减技能预算和基于有用性的动态过滤、排序、选择，逐步减少对技能的依赖，直到完全零样本设置。这个框架的关键是将技能从必需的外部知识转变为临时的训练脚手架，随着训练进程逐渐拆除。

SKILL0的核心创新是将技能内化明确作为训练目标，通过In-Context Reinforcement Learning和Dynamic Curriculum实现从有技能到无技能的渐进式过渡。与现有方法的关键区别在于：SkillRL等方法在推理时仍然依赖技能检索，而SKILL0在推理时完全不使用技能；传统课程学习使用固定难度序列，而SKILL0的Dynamic Curriculum基于当前策略对每个技能的实际有用性进行自适应评估和筛选；现有方法直接注入文本技能，而SKILL0将技能和交互历史渲染为紧凑的RGB图像，通过视觉编码器压缩为视觉token，大幅降低token开销。这种设计让模型真正学会技能而非记住如何使用技能说明书。

方法步骤详情

方法分为四个主要步骤：第一步是技能组织，将可重用行为知识组织到分层技能库SkillBank中，分为通用技能和任务特定技能。第二步是上下文渲染，将文本交互上下文映射为紧凑RGB图像，由视觉编码器编码为视觉表示，策略同时生成行动和压缩比。第三步是ICRL训练，使用复合奖励函数同时优化任务成功率和压缩效率。第四步是Dynamic Curriculum，将训练分为多个阶段，线性衰减技能预算，每固定间隔评估每个技能的有用性，过滤排序并选择最有用的技能，直到完全不使用技能。训练完成后推理时直接使用学习到的策略，无需任何技能检索。

技术新颖性

SKILL0的技术新颖性体现在多个方面。首先，提出了首个明确将技能内化作为训练目标的RL框架，开创了从推理时技能增强向训练时技能内化的研究范式转变。其次，引入了In-Context Reinforcement Learning概念，结合了技能提示的样本效率和归纳偏差与强化学习的探索能力，这是一个全新的训练范式。第三，设计了Dynamic Curriculum机制，基于on-policy有用性Delta_k动态选择技能子集，替代了刚性预设课程，实现了真正自适应的技能撤回策略。第四，提出视觉上下文渲染机制，将技能和交互历史压缩为紧凑图像表示，在保持结构信息的同时大幅降低token开销。这些创新共同构成了一个从依赖外部技能到完全自主的系统性解决方案。

**Figure 2**: Overview of SKILL0. (a) Relevance-Driven Skill Grouping; (b) In-Context Reinforcement Learning with skill-enhanced agent loop; (c) Dynamic curriculum learning during training process.

**Algorithm 1**: Curriculum Learning for SKILL0

实验结果

实验结果显示SKILL0在三个基准任务上均取得显著提升。在ALFWorld任务上，使用3B模型，SKILL0达到87.9%平均成功率，相比AgentOCR基线提升+9.7%，使用7B模型时达到89.8%，继续领先其他RL方法。在Search-QA任务上，SKILL0(3B)达到40.8%平均准确率，相比AgentOCR提升+6.6%，7B模型达到44.4%，超过SkillRL的38.9%。在WebShop任务上，SKILL0(3B)在不使用技能的情况下达到78.6%分数和66.4%准确率，相比AgentOCR提升+10.1%准确率；7B模型达到85.1%分数和74.2%准确率。更重要的是，SKILL0在实现这些性能的同时保持了极低的token开销：ALFWorld每步仅0.38k tokens，Search-QA仅0.18k tokens，相比SkillRL降低超过5倍。

**Table 1**: Performance on ALFWorld and Search-QA tasks.

**Table 2**: Performance on WebShop (128 tasks).

**Table 3**: Ablations of Dynamic Skill Curriculum on ALF-World in different inference settings.

**Table 4**: Impact of Validation Interval d on ALFWorld and Search-QA (subset).

**Figure 3**: Comparison of training dynamics with AgentOCR on Qwen2.5-VL-3B.

**Figure 5**: Training Dynamics Comparison. (a) Validation performance of SKILL0 (OCR) with and without skill augmentation; (b) Performance comparison between SKILL0 and AgentOCR, both evaluated without skill augmentation; (c) Performance comparison of SKILL0 (OCR) against GRPO (Text) and SkillRL (Text), all evaluated without skill augmentation.

**Figure 6**: Training Dynamics of Helpfulness, which are reported by Delta_k for each sub-task k.

**Figure 7**: Ablations of skill budget M.

查看结构化数据

任务	指标	本文	基线	提升
ALFWorld	平均成功率(%)	87.9(3B)/89.8(7B)	AgentOCR 78.2(3B)/81.2(7B)	+9.7%
Search-QA	平均准确率(%)	40.8(3B)/44.4(7B)	AgentOCR 34.2(3B)/40.1(7B)	+6.6%
WebShop	准确率(%)	66.4(3B)/74.2(7B)	AgentOCR 56.3(3B)/59.3(7B)	+10.1%/+14.9%
ALFWorld	Token开销(k/step)	0.38	SkillRL 2.21	降低5.8倍
Search-QA	Token开销(k/step)	0.18	SkillRL 0.87	降低4.8倍

局限与改进

作者在结论中指出了两个主要局限性。首先，SKILL0依赖于初始SkillBank的质量，如果初始技能库质量较差，可能限制最终的内部化效果。其次，离线的相关性驱动技能分组在应用于新任务域时需要重新划分，这意味着扩展到新领域需要额外的人工或自动化分组工作。此外，从技术角度观察，该方法需要为每个技能文件分配验证子任务，这在技能库规模很大时可能带来显著的计算开销。训练过程需要多个阶段的验证和技能评估，相比标准RL方法增加了训练复杂度。另一个潜在限制是视觉上下文渲染可能丢失文本的某些细微差别，尽管实验显示这种压缩不会显著影响性能。

独立分析的弱点

从独立分析角度，SKILL0存在几个可以改进的弱点。首先是技能有用性评估的计算成本，每d步需要为每个技能文件在验证子任务上评估有技能和无技能的性能，当技能库规模很大时（比如数百个技能文件）会成为训练瓶颈，可以考虑引入更高效的有用性估计方法，如基于梯度或激活的相关性度量。其次是固定线性衰减的技能预算，论文中M序列为线性衰减，这种线性衰减可能不是最优的，不同任务域可能需要不同的衰减曲线，可以探索学习最优衰减策略。第三是技能分组仍然需要人工定义任务和技能类别，这限制了方法的自动化程度，可以引入自动技能聚类机制。第四是视觉压缩率由策略自生成，这可能引入额外的不稳定性，可以考虑将其作为可学习的超参数。最后，方法目前只在文本交互环境验证，在需要复杂工具调用的多模态环境中的效果有待验证。

未来方向

基于论文成果，可以延伸多个未来研究方向。作者提出的方向包括改进初始SkillBank的质量和自动化技能分组。从现有成果可以延伸的方向包括：1)探索其他课程学习策略，如非线性衰减、基于性能的自适应衰减、基于熵的主动撤回等；2)研究技能之间的交互效应，当前方法假设技能独立，但实际上某些技能组合可能产生协同或干扰效应；3)扩展到更复杂的工具使用场景，如代码生成、GUI自动化等；4)研究技能迁移，即在一个任务域内化的技能能否迁移到相关任务域；5)结合其他技术如经验回放、离线强化学习等进一步提升样本效率；6)研究技能内化的可解释性，理解模型参数中如何存储和访问内化的技能知识；7)探索将SKILL0应用于更大规模模型，验证技能内化效果在更大参数规模上的可扩展性。这些方向都有望推动从工具增强型agent向真正自主agent的转变。

复现评估

SKILL0的复现性评估：作者宣布代码将在https://github.com/ZJU-REAL/SkillZero开源，这是积极信号。论文提供了详细的实现细节：使用Qwen2.5-VL系列模型，在4张H800 GPU上训练最多180步，ALFWorld每batch采样16个任务每个prompt 8条rollout，最大prompt长度3072 tokens；Search-QA每batch采样128个任务，最大prompt长度4096 tokens；WebShop训练1000个任务，每batch 16个任务8条rollout。数据集使用公开基准：ALFWorld 3827个任务实例，Search-QA包含NQ、TriviaQA、PopQA、HotpotQA等，WebShop使用128个固定验证任务。初始化SkillBank来自SkillRL，这意味着复现需要获取SkillRL的技能库。计算需求相对中等，4张H800 GPU训练180步是可行资源范围。主要挑战在于技能库准备和详细的超参数调整，但论文提供了足够细节应该可以复现。整体评估为复现性良好。

SKILL0：面向技能内化的上下文强化智能代理学习 SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization