SkillOrchestra：通过技能转移学习路由智能体 SkillOrchestra: Learning to Route Agents via Skill Transfer
用技能手册实现高效可解释的多智能体编排，替代昂贵的RL训练
前置知识
模型路由（Model Routing）
模型路由是指在多个候选大语言模型中选择最适合当前查询的模型来回答问题。传统的路由方法基于启发式规则或判别式分类器，在输入层面做单次决策，选择一个模型处理整个任务。例如KNN Router通过计算查询相似度匹配模型，MLP Router用神经网络学习查询到模型的映射。核心挑战是在性能和推理成本之间找到最优平衡点。
本文提出的SkillOrchestra本质上是一种新型路由框架，理解传统模型路由的局限性（单轮决策、无法建模多步能力差异）是理解本文动机的关键。
智能体编排（Agent Orchestration）
智能体编排是指协调多个大语言模型和工具来解决复杂多步任务的过程。系统需要在每个交互步骤决定：执行什么操作模式（如搜索、代码执行、回答），以及由哪个模型-工具组合来执行。与简单的模型路由不同，编排需要处理多轮交互、动态工具选择和状态依赖的决策。例如深度研究系统需要交替进行网页搜索、代码执行和答案综合。
本文的核心贡献是提出了一种技能感知的编排范式，将编排从端到端策略学习转变为基于技能的决策，这是对现有编排方法的根本性改进。
强化学习路由（RL-based Routing）
近年来，一些工作将多步路由建模为序列决策问题，使用强化学习（如GRPO、PPO）训练LLM路由器。代表系统包括Router-R1（用PPO训练多轮路由器）和ToolOrchestra（用GRPO训练编排器）。这些方法通过轨迹级奖励优化性能-成本权衡，但面临训练成本高、适应性差和路由坍缩等问题。路由坍缩是指RL策略收敛到反复选择单一强模型，尽管存在更优的性能-成本权衡。
SkillOrchestra的主要对比基线就是RL-based方法，论文声称用700倍和300倍的学习成本降低实现了22.5%的性能提升，理解RL方法的局限性是理解本文贡献的前提。
技能手册（Skill Handbook）
技能手册是本文提出的核心数据结构，它将编排知识组织为三个层次：（1）模式级执行洞察，指导在不同交互状态下执行什么操作；（2）细粒度技能注册表，描述每个操作模式下的能力需求；（3）智能体画像，总结每个智能体在各技能上的性能估计、成本特征和路由信号。技能手册可以复用到不同的编排器模型，无需重新训练。
技能手册是本文方法的核心创新，它将编排从参数优化转变为知识获取，实现了可解释、可迁移、数据高效的编排方案。
路由坍缩（Routing Collapse）
路由坍缩是指RL训练的路由器策略退化为反复选择单一选项的现象。例如Router-R1尽管被训练为多模型路由器，但其策略收敛到98%的时间选择LLaMA-3.1-70B，其他模型几乎未被使用（Qwen2.5-7B仅0.35%，Mistral-7B仅0.92%）。这限制了模型专业化能力并推高了成本。路由坍缩发生在多个决策层面，包括智能体类型和骨干模型选择。
路由坍缩是RL方法的核心缺陷，也是本文方法要解决的关键问题。SkillOrchestra通过显式技能建模实现了更均衡的路由分布。
研究动机
现代AI系统越来越多地以复合智能体的形式构建，协调多个大语言模型和工具来解决复杂的多步任务，如深度研究和科学发现。现有路由方法面临两个关键限制：第一，输入级路由器（如KNN Router、MLP Router、BERT Router）在查询层面做出粗粒度决策，假设一个模型足以处理整个任务，但在多轮交互中不同状态需要不同能力的假设被打破。例如在需要交替进行网页搜索和代码执行的任务中，这些路由器无法建模中间步骤的能力差异。第二，RL训练的编排器（如Router-R1、ToolOrchestra）虽然更灵活，但引入了新问题：训练成本高昂、适应模型池变化的能力有限，以及严重的路由坍缩。Router-R1在9个基准测试中选择LLaMA-3.1-70B的比例高达98.02%，其他模型几乎未被使用，尽管存在更好的性能-成本权衡。这种坍缩限制了专业化能力并推高了推理成本。
本文的目标是本文的目标是提出一种技能感知的编排框架SkillOrchestra，通过学习可复用的技能手册（Skill Handbook）来实现高效、可解释、可迁移的多智能体编排。具体而言，框架需要：（1）在多轮交互中实现状态条件化、细粒度的编排，允许不同模型在不同能力上专业化；（2）产生稳定均衡的路由行为，缓解RL调优编排器中的路由坍缩；（3）生成可迁移的编排知识，使得学习到的技能手册可以跨不同编排器骨干网络和更新的模型池复用，将编排知识与路由器参数解耦。最终目标是在10个基准测试上超越现有启发式、判别式和RL-based方法，同时大幅降低学习成本。
与已有工作不同的是，本文的独特切入角度是将编排重构为技能获取问题而非参数适应问题。现有方法直接优化路由策略参数（端到端RL训练），而SkillOrchestra学习一个结构化的技能手册作为中间抽象层。这种设计带来三个系统性优势：首先，技能作为模式（如搜索、代码）和个体智能体之间的中间层，实现了能力需求与智能体身份的解耦；其次，技能手册中的智能体画像通过Beta分布建模成功概率，支持贝叶斯式的后验更新，比RL的策略梯度更新更稳定；第三，编排知识以技能手册的形式存在，可以独立于编排器参数进行迁移和更新，实现了知识的模块化和可扩展性。这种方法不需要昂贵的端到端RL训练，仅需从执行轨迹中发现和精炼技能。
核心方法
SkillOrchestra的核心直觉是：与其直接学习一个端到端的路由策略，不如先学习一个可复用的技能手册，然后在部署时让编排器基于技能需求选择智能体。整体技术路线分为三个阶段：第一阶段是技能手册学习，从探索性执行轨迹中发现细粒度技能、构建智能体画像和提炼模式级路由洞察；第二阶段是手册选择，通过Pareto最优验证选择与目标编排器能力匹配的手册子集；第三阶段是部署时的技能感知路由，编排器先选择操作模式，再基于技能需求和智能体画像选择最优智能体。这种方法将编排优化从参数空间转移到知识空间，实现了更高效、更可解释的编排决策。
SkillOrchestra的核心创新是将技能（Skill）作为编排决策的中间抽象。一个技能 sigma 定义为 sigma = (D, I)，其中 D 是能力的自然语言描述，I 是上下文指示器（如关键词、结构模式或示例查询）。与已有方法的本质区别在于：传统路由方法在输入特征空间做决策，RL方法在参数空间优化策略，而SkillOrchestra在技能空间做推理。智能体画像 P_{A,psi} 存储每个智能体在模式 psi 下各技能的成功概率 phi_{A,sigma}，通过Beta分布 Beta(alpha, beta) 建模并支持贝叶斯更新。这种设计使得：（1）编排决策具有可解释性（可以追溯到具体技能）；（2）知识可迁移（技能手册与编排器解耦）；（3）路由更均衡（基于技能而非全局偏好选择智能体）。
方法步骤详情
SkillOrchestra的方法分为三个主要步骤。第一步是技能手册学习，包含两个阶段：Phase 1是技能发现和画像构建，给定探索性数据集 D_train，对于每个查询和模式，对比成功轨迹 tau_plus 和失败轨迹 tau_minus，LLM发现器将能力差距抽象为可复用技能定义。智能体画像通过Beta分布更新：alpha 的增量是成功次数，beta 的增量是失败次数。Phase 2是手册精炼，通过分裂高方差技能和合并不可区分的技能对来防止过度碎片化。第二步是Pareto最优手册选择，对目标编排器在验证集上求解最优手册子集，目标函数是最大化期望奖励减去成本加权项。第三步是部署时路由，在每个时间步先选择操作模式（基于交互状态和模式级路由元数据），再基于技能需求和智能体画像选择最优智能体（最大化期望能力减去成本惩罚）。
技术新颖性
SkillOrchestra的技术新颖性体现在多个层面。首先，它提出了技能感知编排这一新范式，将编排决策围绕显式能力抽象和智能体画像进行结构化，这与现有方法直接优化端到端路由策略有本质区别。其次，技能手册的学习框架具有创新性：通过对比成功和失败轨迹发现能力差距，用LLM抽象为可复用技能，这比人工定义技能更高效、更具适应性。第三，Pareto最优手册选择策略是新颖的，它认识到技能粒度的最优性取决于编排器能力，细粒度技能需要编排器能准确推断当前交互状态的活跃子技能，而低能力编排器可能会误识别导致路由偏差。第四，将智能体画像建模为Beta分布并支持贝叶斯更新，比RL的策略梯度更稳定且数据高效。第五，技能手册的可迁移性是一个重要创新，从Qwen2.5-3B学习的手册可以零样本迁移到Qwen2.5-7B（+24.3%）、Llama3.1-8B（+22.5%）等模型。
实验结果
SkillOrchestra在10个基准测试上进行了广泛实验，取得了显著成果。在模型路由设置下，SkillOrchestra在7个QA数据集上平均达到47.4%的EM分数，相比Router-R1的41.6%提升5.8个百分点；SkillOrchestra+进一步提升至51.6%。在多跳推理任务上提升尤为突出：Musique从13.8%提升至18.2%再到20.6%，Bamboogle从51.2%提升至58.4%再到63.2%。在数学推理上，SkillOrchestra相比Router-R1实现了高达22.5%的准确率提升，同时推理成本降低约2倍。在智能体编排设置下（FRAMES基准），SkillOrchestra达到84.3%的准确率和最低的总成本72.7美元，相比ToolOrchestra（76.3%, 92.7美元）提升8个百分点同时降低成本21.6%。它还超越了强大的专有模型编排器：GPT-5（74.6%, 120.4美元）、Claude Opus 4.5（77.9%, 758.1美元）、Gemini 3 Pro（78.9%, 1729.3美元）。路由坍缩分析显示，Router-R1选择LLaMA-3.1-70B的比例为98.02%，而SkillOrchestra实现了更均衡的分布：Mixtral-8x22B 44.53%、Qwen2.5-7B 25.99%、LLaMA-3.1-70B 15.38%、Qwen2.5-3B 11.50%。技能手册迁移实验表明，从Qwen2.5-3B学习的手册可零样本迁移到其他模型，Qwen2.5-7B从35.7%提升至60.0%（+24.3%），Llama3.1-8B从35.5%提升至58.0%（+22.5%），Mistral-7B从36.5%提升至59.8%（+23.3%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Natural Questions (NQ) | Exact Match (EM) | SkillOrchestra 54.2%, SkillOrchestra+ 54.8% | Router-R1 38.8% | +15.4% / +16.0% |
| TriviaQA | Exact Match (EM) | SkillOrchestra 71.6%, SkillOrchestra+ 80.2% | Router-R1 70.6% | +1.0% / +9.6% |
| HotpotQA | Exact Match (EM) | SkillOrchestra 39.0%, SkillOrchestra+ 44.2% | Router-R1 35.2% | +3.8% / +9.0% |
| Musique | Exact Match (EM) | SkillOrchestra 18.2%, SkillOrchestra+ 20.6% | Router-R1 13.8% | +4.4% / +6.8% |
| Bamboogle | Exact Match (EM) | SkillOrchestra 58.4%, SkillOrchestra+ 63.2% | Router-R1 51.2% | +7.2% / +12.0% |
| FRAMES (Agent Orchestration) | Accuracy (%) | SkillOrchestra 84.3% | ToolOrchestra 76.3% | +8.0% |
| FRAMES (Agent Orchestration) | Total Cost ($) | SkillOrchestra $72.7 | ToolOrchestra $92.7 | 成本降低21.6% |
| QA平均 (7个数据集) | Average EM | SkillOrchestra 47.4%, SkillOrchestra+ 51.6% | Router-R1 41.6% | +5.8% / +10.0% |
局限与改进
尽管SkillOrchestra取得了显著成果，仍存在一些局限性。首先，技能手册的构建依赖于探索性执行轨迹，需要预先收集包含成功和失败案例的轨迹数据，这在某些场景下可能成本较高或难以获取。虽然作者声称学习成本比RL方法低数百倍，但仍需要一定量的初始数据。其次，技能发现和精炼过程依赖LLM（如GPT-5）进行能力抽象和技能定义，这引入了对LLM能力的依赖，且技能质量可能受LLM理解能力的限制。第三，Pareto最优手册选择需要在验证集上评估多个候选子集，当技能数量很大时搜索空间可能呈指数增长，虽然论文未详细讨论计算复杂度。第四，论文主要在QA和推理任务上验证，对于需要实时交互、多模态输入或更复杂工具链的实际应用场景，框架的适用性有待进一步验证。第五，Beta分布假设可能过于简化了智能体能力的建模，实际中智能体在不同技能上的表现可能有复杂的交互效应。此外，论文未充分讨论技能手册随时间更新的策略，当模型池或任务分布变化时如何维护手册的新鲜度。
独立分析的弱点
SkillOrchestra存在几个值得改进的弱点。第一，技能发现依赖对比成功和失败轨迹，这要求每个查询在同一模式下至少有两个不同智能体的执行结果，增加了数据收集的约束。改进方向是探索基于单轨迹的技能发现方法，或利用迁移学习从相关任务中推断技能。第二，智能体画像使用全局Beta分布建模，忽略了智能体在同一技能不同子任务上的异质性。例如一个模型可能在符号逻辑编程上很强但在数值计算上很弱，即使两者都属于coding模式。改进方向是引入层次化贝叶斯模型，支持更细粒度的能力建模。第三，模式选择和智能体选择是两个独立的决策步骤，没有建模它们之间的依赖关系。在某些情况下，模式选择可能受到可用智能体能力的约束，联合优化可能带来更好的结果。第四，当前框架假设智能体池是静态的，当新模型加入或旧模型下线时，需要重新收集轨迹更新手册。改进方向是设计增量学习机制，支持手册的在线更新。
未来方向
基于SkillOrchestra的成果，可以探索多个有前景的研究方向。首先，技能手册的自动化构建是一个重要方向，可以研究如何从大规模任务日志中自动发现和组织技能，减少对人工设计探索策略的依赖。其次，跨任务和跨领域的技能迁移值得深入研究，例如将编程任务中发现的技能迁移到数据分析任务中。第三，可以探索技能手册与神经网络参数的结合，例如将技能嵌入作为路由器的额外输入，同时保留技能的可解释性和神经网络的灵活性。第四，多层级技能体系的构建，当前技能是扁平的，可以研究如何构建层次化的技能树，支持从粗粒度到细粒度的渐进式路由。第五，将框架扩展到多模态场景，当智能体池包含视觉、语音等模态的模型时，技能的定义和建模需要相应扩展。作者也提到，希望这项工作能作为可扩展编排的跳板，随着智能体池的增长和多样化来改善性能-成本前沿。
复现评估
从复现角度来看，SkillOrchestra具有较好的可复现性。作者在GitHub上开源了代码（https://github.com/jiayuww/SkillOrchestra），这大大降低了复现门槛。实验设置相对标准化，使用了广泛认可的基准测试（NQ、TriviaQA、HotpotQA等），并与公开的基线方法（Router-R1、ToolOrchestra）进行了对比。编排器使用开源模型Qwen2.5-3B和Qwen3-8B，模型池也主要是开源模型（Llama3系列、Mistral、Mixtral等），便于学术界复现。技能手册的学习不需要大规模GPU集群，主要成本在于收集探索性轨迹和LLM调用（用于技能发现和精炼）。然而，完全复现可能面临一些挑战：（1）探索性轨迹的收集需要访问多个模型的API，有一定成本；（2）技能发现依赖GPT-5等强LLM，API调用成本和可用性可能影响复现；（3）Pareto最优手册选择的验证集构建和评估流程需要仔细实现。总体而言，相比RL-based方法需要大量GPU时间和复杂的训练流程，SkillOrchestra的复现难度较低。
论文图表
