基于策略内技能蒸馏的智能体强化学习 OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning
从策略内轨迹中提取层级事后技能，为智能体强化学习提供细粒度决策指导
前置知识
强化学习
一种机器学习范式，智能体通过与环境交互并根据环境反馈（奖励或惩罚）调整行为策略，以最大化累积奖励。在LLM智能体场景中，RL常用于通过任务级反馈优化模型的行为，例如GRPO就是一种基于结果的无批评者方法，通过对同一任务采样多个轨迹并计算组内相对优势来更新策略。RL的核心挑战在于信用分配：当奖励稀疏或延迟时，很难确定哪些具体决策导致了最终的成败。
论文的核心问题是解决传统基于结果的智能体RL方法在长视距任务中缺乏细粒度信用分配信号的问题。理解RL的基本原理（特别是基于轨迹级奖励优化和信用分配挑战）是理解为什么需要引入技能蒸馏作为补充监督的关键。论文使用的GRPO就是一种标准的RL基线方法。
自我蒸馏
一种知识蒸馏技术，教师和学生来自同一模型，但处于不同的上下文或条件。模型自己生成的样本被重新评分或评论，产生额外的学习信号。在标准设定中，教师分支可能接收特权信息（如验证的解决方案或辅助上下文），而学生分支从普通上下文生成。教师对学生的输出重新评分，产生的log概率偏移转化为密集的token级学习目标。梯度只应用到学生端，教师分支通过stop-gradient保持固定，特权上下文在推理时不存在。这种技术允许模型从自己的输出中学习，同时减少训练和推理之间的上下文分布不匹配。
OPID是一种特殊的自我蒸馏形式，它将轨迹衍生的技能作为特权上下文注入教师分支。理解自我蒸馏的基本机制（教师-学生分支、特权上下文、token级优势计算）对于理解OPID如何将层级技能转化为密集监督信号至关重要。论文与OPSD、RLSD、SDAR等自我蒸馏基线进行比较，显示了不同的蒸馏设计选择。
策略梯度优化
一类直接优化策略参数的强化学习方法，通过计算策略对奖励的梯度来更新模型。PPO是一种现代策略梯度方法，它使用裁剪的重要性比率来限制策略更新幅度，保证训练稳定性。其损失函数通过重要性比率和优势函数的组合来限制单次更新的策略变化幅度，避免训练崩溃。在智能体RL中，通常使用组相对优势来减少奖励尺度的影响。
OPID使用PPO风格的目标函数，将技能优势与轨迹级结果优势结合。理解策略梯度优化和PPO的机制（重要性比率、裁剪、优势函数）对于理解OPID如何将token级技能信号集成到RL优化框架中非常关键。论文展示了OPID优势如何与PPO裁剪结合形成最终的学习目标。
部分可观测马尔可夫决策过程
强化学习的经典形式化框架，由状态空间、动作空间、观测空间、转移函数、奖励函数和折扣因子组成。在部分可观测设定中，智能体只能访问环境的观测而非真实状态，因此需要维护交互历史作为决策上下文。策略生成响应，环境返回新的观测。长视距智能体任务（如ALFWorld、WebShop）天然建模为POMDP，因为单个观测无法捕获环境的所有信息，智能体必须通过多轮交互逐步推理和行动。
论文在3.1节明确将智能体任务形式化为POMDP，这是理解问题设定和OPID设计的基础。理解部分可观测性带来的挑战（状态估计、历史依赖、信用分配困难）有助于理解为什么需要额外的技能监督来引导长视距决策。OPID的层级技能提取正是为了从历史轨迹中抽象出可重用的决策知识。
技能条件学习
一种在智能体学习中引入程序化知识的方法，技能是以自然语言表示的子目标分解、动作模板或行为规则。技能可以作为上下文注入模型，影响其决策分布。在训练时，技能可以条件化教师分支以产生更好的行为，然后通过蒸馏将技能知识内化到学生策略中。技能可以预先构建、动态检索或在线维护。然而，现有方法通常依赖外部技能库或持久技能记忆，这引入了维护成本和检索复杂性。更重要的是，检索的技能可能与当前策略诱导的状态分布不匹配，导致状态漂移和不可靠行为。
OPID的核心创新是从策略内轨迹中提取技能，避免对外部技能库的依赖。理解技能条件学习的基本概念（技能类型、注入方式、内化目标）和现有方法的局限性（维护成本、状态不匹配）对于理解OPID的独特价值和设计动机非常重要。论文的动机部分详细讨论了现有基于技能的方法面临的两个主要挑战。
研究动机
基于结果的语言模型智能体强化学习面临核心的信用分配挑战。在长视距交互任务中，环境奖励通常是稀疏、延迟和高方差的：一个终端奖励只能指示轨迹是否成功，但无法识别哪些中间决策导致了成功或失败。例如在ALFWorld的任务中，一个早期的错误选择（如幻觉一个不存在的目标对象）可能在30步后才导致失败，但纯结果驱动的优化无法将失败归因于这个具体的错误决策。在WebShop中，点击一个不满足所有属性要求的产品可能在购买步骤才被发现，但奖励信号无法追溯到之前的浏览决策。在Search-based QA中，初始搜索查询不精确可能需要多次迭代才能获得正确答案，但二值成功奖励无法指导如何改进搜索策略。这种缺乏细粒度决策级信用分配的限制使得纯结果驱动的优化提供了稳定的任务级压力，但难以引导策略学习具体的决策规则。
本文的目标是本文的目标是设计一个能够在保持基于结果的RL作为主要优化目标的同时，引入密集、分布匹配的事后监督信号的方法。具体来说，OPID旨在从当前策略自身采样的已完成轨迹中提取可重用的决策知识，将这些知识转化为层级自然语言技能，并通过技能条件的自我蒸馏将这些技能的效应内化到策略参数中。关键要求是：（1）不依赖外部技能库或检索的特权上下文；（2）提供与当前策略状态分布匹配的密集token级指导；（3）在推理时无需额外的技能检索或分析器调用；（4）与现有的基于结果的RL框架（如GRPO）无缝集成。最终目标是提升长视距智能体的性能、样本效率和鲁棒性，减少重复或无效行为。
与已有工作不同的是，本文的独特切入点是认为完成的策略内轨迹不仅是奖励优化的样本，也是可重用的决策知识记录，可以蒸馏回策略中。与现有方法不同，OPID不从外部技能库检索技能，而是从策略自身的rollout中提取事后技能。与OPSD等使用通用特权上下文的自我蒸馏方法不同，OPID显式地将轨迹知识抽象为层次化的自然语言技能（情节级和步骤级），并通过关键优先路由选择最合适的技能粒度。与Skill-GRPO等在训练时使用技能但测试时移除的方法不同，OPID将技能知识内化到模型参数中，推理时无需任何技能输入。这个设计选择解决了现有技能方法的两个核心挑战：（1）避免外部技能库的维护成本和检索复杂性；（2）确保技能与当前策略诱导的状态分布匹配。OPID的核心洞察是：策略在训练中遇到的轨迹已经包含了关于如何决策和避免失败的隐式知识，只要能够显式地提取并蒸馏这些知识，就能为策略提供密集的决策级指导，而无需依赖外部的特权信息。
核心方法
OPID的整体思路是将完成的智能体轨迹转化为层级事后监督。直觉上，一个智能体在完成多轮交互后，轨迹中蕴含了丰富的决策知识：哪些决策是有效的，哪些导致了失败，哪些工作流是可重用的。OPID通过三个阶段实现这一目标：首先，从完成的策略内轨迹中提取层级技能，包括情节级技能（总结全局行为模式或失败避免规则）和步骤级技能（捕获关键决策点的本地知识）。其次，通过关键优先路由为每个决策步骤选择最合适的技能粒度，并将选定的技能注入交互历史，允许旧策略在原始和技能增强上下文下重新评分相同的响应，将log概率偏移转化为token级技能优势。最后，将技能优势与组相对结果优势结合，使用裁剪的策略梯度目标优化策略。整个过程的直觉是：如果某个token在技能增强上下文下获得更高的log概率，说明该token与技能一致，应该被强化；如果获得更低的log概率，说明该token与技能不一致，应该被抑制。这样，轨迹衍生的技能知识被转化为密集的决策级学习信号，而无需外部专家或特权上下文。
OPID的核心创新点是将轨迹事后知识抽象为层级自然语言技能并通过技能条件自我蒸馏内化到策略中。与已有方法的本质区别在于：（1）技能来源：OPID从策略内轨迹提取技能，而现有方法（如Skill0、Skill-SD）依赖外部技能库或检索的技能文件；（2）技能粒度：OPID显式区分情节级和步骤级两个互补的粒度，并通过关键优先路由选择最合适的粒度，而现有方法通常使用单一粒度的技能；（3）训练-推理边界：OPID使用技能仅用于构建训练优势，推理时无需任何技能检索或分析器调用，而现有方法（如Skill-GRPO）需要在训练和推理时都使用技能，导致上下文不匹配；（4）集成方式：OPID将技能优势与结果优势在PPO裁剪前结合，保留RL作为主要目标，而现有方法（如GRPO+OPSD）简单地将两个损失相加，可能产生目标冲突。这些设计选择使OPID能够提供密集、分布匹配的监督信号，同时保持RL的稳定性和推理效率。
方法步骤详情
OPID的完整方法步骤如下：第一阶段：策略内技能提取。对于每个完成的轨迹，构建包含任务提示、观测、模型响应、环境反馈、步骤索引和终端结果的有序轨迹记录。一个LLM分析器将此记录映射为结构化自然语言技能，其中是情节级技能（成功轨迹捕获可重用工作流，失败轨迹捕获失败避免规则），是分析器识别的关键时间步集合，是步骤级技能（捕获状态条件的本地决策知识）。第二阶段：关键优先路由和自我蒸馏。对于轨迹和时间步，路由技能根据是否为关键步骤选择步骤级或情节级技能。定义技能注入函数将路由技能附加或前置到交互历史中，产生技能增强历史。使用旧策略在原始和技能增强历史下重新评分相同的采样响应，计算token级log概率。技能优势为log概率差乘以有效响应token掩码。第三阶段：带技能优势的策略优化。对于每个rollout组，计算组均值和组标准差。组相对结果优势为归一化的轨迹奖励，广播到所有有效响应token。最终OPID优势为结果优势与技能优势的加权和。优化裁剪策略目标，包含PPO风格的裁剪项和KL正则化。推理时，策略直接从普通交互历史行动，无需分析器调用、技能检索或特权上下文。
技术新颖性
OPID的技术新颖性体现在多个层面。在理论上，论文证明了未裁剪的OPID技能损失是一个精确的相对KL散度损失：行为策略处的技能损失与缩放的反向KL蒸馏具有相同的值和梯度，证明了其在局部等价于反向KL蒸馏。论文还证明了策略内收集消除了普通自回归上下文分布的外部不匹配，当收集分布等于行为策略分布时，占位项为零。在关键优先路由方面，论文证明了在候选教师专业化假设下，完美的关键性检测恢复了预言性候选教师选择。在技术上，OPID引入了层级事后技能提取机制，将轨迹知识抽象为两个互补粒度：情节级技能（全局、稳定、粗粒度）和步骤级技能（精确、稀疏、状态特定）。关键优先路由机制确保每个决策步骤接收最合适的粒度：关键时间步使用步骤级技能，其他步骤使用情节级技能作为默认指导。技能注入函数将技能嵌入历史，重新评分机制将技能效应转化为log概率偏移，最终形成token级优势。这种设计保留了RL作为主要目标（通过系数控制技能优势的贡献），同时引入密集的token级塑造信号。在实用上，OPID消除了对外部技能库、检索逻辑和推理时特权上下文的依赖，降低了部署复杂度和维护成本。
实验结果
OPID在三个长视距智能体基准测试中一致地提升了基于结果的RL和技能蒸馏基线的性能。在ALFWorld上，使用Qwen2.5-3B作为基础模型，OPID的平均成功率为84.3%，相比GRPO的75.0%提升了+9.3个百分点。在六个具体任务类型上，OPID在Look任务达到100%成功，在Cool任务达到84.2%，在Pick2任务达到70.0%，均优于或与最强基线相当。在WebShop上，OPID的成功率为74.2%，相比GRPO的63.3%提升了+10.9个百分点，任务完成分数为85.0%，超过SDAR的85.0%。在Search-based QA上，OPID的平均准确率为45.0%，相比GRPO的36.4%提升了+8.6个百分点，在七个数据集（NQ、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle）上表现稳定，其中在NQ上达到45.9%，在TriviaQA上达到61.4%。在跨模型规模评估中，OPID在Qwen2.5-7B上ALFWorld平均达到90.0%，相比GRPO的81.2%提升了+8.8个百分点；在Qwen3-1.7B上ALFWorld平均达到58.9%，相比GRPO的46.1%提升了+12.8个百分点。在样本效率分析中，OPID在低数据和中数据 regimes 下表现尤为突出：使用60%训练数据时，OPID达到71.9%，接近GRPO使用全数据的75.0%；使用80%数据时，OPID达到78.9%，已经超过全数据GRPO。在跨域泛化实验中，OPID在ALFWorld Unseen分割上平均达到78.6%，相比GRPO的70.9%提升了+7.7个百分点，特别在Look任务（+26.7%）和Heat任务（+18.5%）上有显著提升。在训练动态分析中，OPID减少了平均轨迹长度到15-16步，而GRPO在17-18步处停滞，表明OPID学习到更直接的动作序列而非探索性绕行。消融实验显示移除情节级技能使ALFWorld平均从84.3%降至74.1%，WebShop成功率从74.2%降至67.2%；移除步骤级技能使ALFWorld平均降至79.1%，WebShop成功率降至65.6%，证明了两个技能层次的互补性。关键优先路由相比非路由变体提升了ALFWorld平均+6.8个百分点（84.3% vs. 77.5%），证明了选择性路由最优粒度的重要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld (Qwen2.5-3B) | 平均成功率 | 84.3% | GRPO: 75.0% | +9.3个百分点 |
| ALFWorld (Qwen2.5-7B) | 平均成功率 | 90.0% | Skill-GRPO*: 88.3% | +1.7个百分点 |
| ALFWorld (Qwen3-1.7B) | 平均成功率 | 58.9% | SDAR: 53.9% | +5.0个百分点 |
| Search-based QA (Qwen2.5-3B) | 平均准确率 | 45.0% | GRPO: 36.4% | +8.6个百分点 |
| Search-based QA (Qwen2.5-7B) | 平均准确率 | 49.2% | RLSD: 49.0% | +0.2个百分点 |
| WebShop (Qwen2.5-3B) | 成功率 | 74.2% | GRPO: 63.3% | +10.9个百分点 |
| WebShop (Qwen3-1.7B) | 成功率 | 64.8% | SDAR: 58.6% | +6.2个百分点 |
| ALFWorld (样本效率, 60%数据) | 成功率 | 71.9% | GRPO (全数据): 75.0% | 仅用60%数据接近全数据GRPO性能 |
| ALFWorld Unseen (泛化) | 平均成功率 | 78.6% | GRPO: 70.9% | +7.7个百分点 |
局限与改进
论文承认了几个局限性。首先，分析器仅将轨迹摘要为文本形式，可能丢失部分轨迹信息，例如高频决策模式或统计规律，这些信息在文本摘要中难以完全捕获。其次，OPID的技能完全从策略内轨迹中提取，训练数据的质量受当前策略能力限制，早期策略可能产生低质量的轨迹和错误的技能。第三，关键步骤的数量被限制（ALFWorld和WebShop最多5个，Search-based QA最多2个），这可能遗漏某些重要的决策点。第四，论文使用的分析器是GLM-5.2，其性能可能影响提取的技能质量，不同的分析器可能产生不同的结果。第五，论文主要在三个具体基准测试上评估（ALFWorld、WebShop、Search-based QA），在更复杂的交互环境（如OdysseyArena、AgentBench、WebArena）中的表现尚未充分验证。第六，OPID的技能提取依赖于事后分析，无法在线适应环境变化，对于动态或非平稳环境可能不够鲁棒。第七，论文未详细讨论技能冲突的情况，即情节级和步骤级技能可能给出矛盾的指导。独立观察来看，OPID的理论分析假设了完美关键性检测和候选教师专业化，但在实践中这些假设可能不完全成立。分析器的关键步骤检测误差可能导致技能路由的不准确，降低蒸馏效果。此外，技能优势的系数需要调参，论文设置为0.001，但最优值可能因任务和模型规模而异，这增加了超参数调优的复杂性。
独立分析的弱点
OPID的第一个潜在弱点是对分析器的依赖。分析器的质量直接影响提取的技能质量，而分析器本身可能出错或产生不准确的技能摘要。改进方向是使用更强的分析器（如更大的LLM）或集成多个分析器，通过投票或聚合提高鲁棒性。另一个方向是开发自动化的技能质量评估机制，过滤低质量的技能。第二个弱点是策略内约束导致训练数据质量受限。早期策略产生的轨迹可能包含大量错误决策，从中提取的技能可能误导学习。改进方向是引入课程学习，逐步提高训练轨迹的质量要求；或使用外部演示（如人类示范）引导早期训练，然后过渡到纯策略内学习。第三个弱点是技能粒度的硬路由可能不够灵活。当前设计使用二元路由（关键步骤用步骤级技能，否则用情节级技能），但某些决策可能同时需要全局和本地指导。改进方向是引入软路由机制，根据决策不确定性或状态复杂度动态调整全局和本地技能的权重。第四个弱点是技能表示仅限于文本形式。对于涉及视觉或多模态交互的任务，文本技能可能无法充分捕获感知决策知识。改进方向是扩展技能表示为多模态形式（包括图像、动作序列等），使技能能够指导更丰富的决策类型。第五个弱点是推理时的技能知识完全内化到模型参数中，无法根据具体上下文动态调整。改进方向是在推理时引入轻量级的技能检索机制，在保持效率的同时提供上下文适应性。
未来方向
作者提出的未来工作方向包括在更广泛的交互环境中评估OPID，特别是那些需要发现潜在规则、维护长期状态和通过扩展交互适应的环境，如OdysseyArena、AgentBench、WebArena、Mind2Web、VisualWebArena和RobotEQ。这些环境可以测试轨迹衍生的事后技能在更长视距、更丰富界面和更开放形式的探索中是否仍然有用。另一个方向是丰富事后技能的结构，将策略内提取与更高级的推理抽象相结合，如搜索发现的推理模式或可重用的思维结构，以及针对长视距智能体学习的策略感知探索机制。这种扩展可能允许智能体聚合跨轨迹的技能，识别重复的失败模式，并形成更组合的行为规则，同时保留OPID的关键设计选择：技能用于塑造训练，而不是在推理时检索为特权上下文。论文还提出将OPID扩展到更多感知和具身设置，包括主动具身智能基准如RobotEQ，测试事后技能监督是否帮助智能体不仅获得任务完成策略，还获得社会和空间基础的决策规则。独立来看，基于OPID成果可延伸的方向包括：技能的增量学习，允许模型随着训练进程不断更新和完善技能库；技能的跨任务迁移，将一个任务中学到的技能适应到相关任务中；技能的可解释性分析，提取的技能可以用于解释和调试智能体的决策过程；技能的人机协作，人类可以审查和修正提取的技能，将人类知识注入训练过程。
复现评估
论文的复现性较好。作者开源了代码（https://github.com/jinyangwu/OPID/tree/main），包含了完整的训练和评估流程。论文在附录B.4中提供了详细的实现细节，包括超参数设置（训练步数150、batch size 16/128、组大小N=8、学习率1e-6、PPO裁剪参数0.2、技能系数0.001、KL正则化系数0.01、最大提示长度2048/4096、响应长度512、最大交互步骤30/15/4）。论文使用了三个公开基准测试（ALFWorld、WebShop、Search-based QA），数据集规模明确（ALFWorld训练2400样本，测试140 seen + 134 unseen；WebShop训练2400样本，测试128；Search-based QA训练19200样本，测试51713）。基础模型（Qwen2.5-3B/7B-Instruct、Qwen3-1.7B-Instruct）和训练使用的分析器（GLM-5.2）都是公开可用的。训练在8张Nvidia A800 80G GPU上进行，计算资源要求适中但可及。论文提供了详细的算法伪代码和分析器提示模板，方便研究人员复现。消融实验和跨数据设置的详细报告提供了全面的评估视角。唯一可能影响复现性的因素是分析器的实现细节（如温度设置为0.4、最大输出长度4096）和关键步骤数量的限制，但这些在论文中都有明确说明。总体而言，论文提供了充分的实验细节和开源代码，复现难度中等偏低。
论文图表
该算法伪代码完整描述了OPID训练过程。算法输入包括策略、任务集Q、分析器A、技能注入函数H、组大小N、技能系数、裁剪参数、学习率。算法主循环对每个训练迭代执行：首先保存旧参数；从Q中采样一批任务提示B；对每个提示q采样rollout组，计算组奖励、组均值、组标准差，计算组相对结果优势；对每个轨迹提取层级技能；对每个交互步骤t进行关键优先路由和成对评分：计算路由技能、技能增强历史、原始和增强logits、技能优势、最终OPID优势；最后执行裁剪策略优化，更新参数。
这个算法伪代码对理解OPID的完整实现细节非常重要。它将论文中的方法描述转化为可执行的算法步骤，明确了各个组件的顺序和依赖关系。研究者可以基于这个伪代码复现OPID或将其集成到自己的训练流程中。伪代码还展示了关键的数据流和计算细节，如优势的广播和结合。