TCAndon-Router：面向多智能体协作的自适应推理路由器

提出推理驱动的多智能体路由器，支持动态加入Agent和多Agent协作执行

前置知识

多智能体系统（Multi-Agent Systems, MAS）

多智能体系统是一种将复杂问题分解为多个子任务，每个子任务由专门的专家智能体（Expert Agent）处理的计算范式。在MAS中，不同的Agent具有不同的领域专长，例如在云计算场景中可能有CDN配置专家、网络安全专家、数据库专家等。系统通过路由器决定哪个或哪些Agent应该处理特定的用户查询。代表性应用包括Vibe Coding和Deep Research等场景。

本文的核心就是改进MAS中的路由器，理解MAS的基本架构和Agent协作模式是理解本文贡献的基础。

任务路由（Task-based Routing）

任务路由是一种将用户查询分配给特定领域专家Agent的策略，目标是提高任务处理的准确性。与性能路由（选择不同大小的LLM以平衡延迟和成本）不同，任务路由专注于将查询与最匹配的领域专家进行匹配。传统任务路由通常采用单标签分类方式，即每个查询只能被分配给一个Agent。

本文要解决的核心问题就是传统任务路由的单标签分类限制，理解任务路由的基本范式有助于理解TCAR的创新点。

监督微调（Supervised Fine-Tuning, SFT）

监督微调是大语言模型训练的一种方法，使用标注好的数据对预训练模型进行进一步训练，使其适应特定任务。SFT通过标准的因果语言建模损失函数进行优化。在本文中，SFT阶段教会模型基本的先推理后选择模式。

TCAR采用两阶段训练策略，SFT是第一阶段，理解SFT的工作原理有助于理解模型的训练流程和RL阶段的改进。

DAPO强化学习

DAPO（Dynamic Sampling with Advantage-weighted Policy Optimization）是一种强化学习方法，用于进一步优化模型的决策质量。DAPO通过动态采样和优势加权的策略优化来训练模型，特别适合需要精确决策的任务。在TCAR中，DAPO被用于改进路由决策的鲁棒性和推理质量。

DAPO是TCAR训练流程的第二阶段，理解其工作原理有助于理解模型如何从SFT阶段进一步提升性能。

Slerp模型融合

Slerp（Spherical Linear Interpolation）是一种模型融合技术，通过球面线性插值将多个不同训练的模型合并为一个模型。在TCAR中，作者在五个不同数据集上训练了五个不同的SFT模型，然后使用Slerp进行融合。融合后的模型在RL训练早期表现出更高的探索能力（更高的pass@k分数）和更高的熵值，有助于避免熵坍塌问题。

Slerp是本文训练策略的重要组成部分，理解其工作原理有助于理解RL初始化对最终性能的影响。

研究动机

在真实企业级多智能体系统中，传统任务路由面临两个关键限制。首先，传统路由器依赖静态单标签分类决策，当业务领域扩展时难以无缝集成新的Agent，每当添加新Agent时，路由器需要重新训练。其次，企业场景中普遍存在Agent能力重叠导致的路由冲突问题。例如在云计算场景中，网站加载缓慢这个问题可能同时与CDN配置、公网质量或应用层瓶颈相关，但传统单标签路由器被迫只能选择一个Agent，导致路由错误、在模糊查询下表现脆弱，最终降低系统可靠性。实验表明，基线模型Qwen3-4B-Instruct-2507在CLINC150数据集上仅达到70.12%的准确率，在SGD多轮对话数据集上更是只有58.74%，而现有动态路由方法如ArcRouter在CLINC150上也只有62.98%，在SGD上为65.59%，远低于大模型如GPT-5.1（93.84%）和Claude-4.5（94.21%）的表现。

本文的目标是本文的具体目标是设计一个自适应推理路由器TCAR（TCAndon-Router），实现三个核心目标：第一，支持动态Agent加入，使得添加新Agent时无需重新训练路由器；第二，将传统单标签路由扩展为多Agent子集预测，以处理Agent能力重叠导致的路由冲突；第三，通过生成自然语言推理链来增强路由决策的可解释性和鲁棒性。最终，作者希望在仅4B参数的小模型上实现与大模型相当甚至更优的路由性能。

与已有工作不同的是，本文的独特切入角度在于将路由从传统的黑盒分类任务转变为透明的推理过程。现有方法（如BERT分类器、KNN相似度计算、或基于LLM的直接选择）都缺乏显式的推理步骤，直接输出一个Agent标签。TCAR创新性地引入先推理后选择（reason-then-select）的两阶段范式：首先生成自然语言推理链，分析查询的潜在原因、相关技术栈和各Agent的责任边界，然后预测候选Agent集合。这种设计不仅提高了路由准确性，还形成了数据到推理到策略的闭环反馈机制，运维工程师可以通过检查推理链来诊断路由错误、优化Agent描述或调整路由策略。

核心方法

TCAR的整体思路是将多智能体路由从传统的直接预测标签范式转变为先推理后选择的推理范式，并结合多Agent协作执行机制。直觉上，当面对一个模糊的用户查询时，人类专家不会立即做出判断，而是会先分析问题的各个方面，考虑可能涉及的多个领域，然后综合各方意见给出最终答案。TCAR正是模拟了这一过程：路由器首先生成自然语言推理链，解释为什么某些Agent可能与当前查询相关，然后输出一个候选Agent集合；被选中的Agent各自独立生成响应，最后由一个Refining Agent将这些响应整合为一个高质量的最终答案。技术路线上，TCAR采用两阶段训练策略：先用SFT教会模型基本的推理-选择模式，再用DAPO强化学习进一步优化路由决策的鲁棒性和准确性。

TCAR的核心创新点在于三个方面，与已有方法有本质区别。第一，推理驱动的路由决策：传统方法直接输出离散的Agent标签，而TCAR首先生成自然语言推理链，明确分析查询的潜在原因、相关技术栈和各Agent的责任边界，然后才输出候选Agent集合。第二，多Agent子集预测：传统路由器只能输出单个Agent，而TCAR输出Agent子集，能够同时选择多个相关Agent处理跨领域查询。第三，多Agent协作执行与Refining Agent：当多个Agent被选中时，它们并行生成响应，然后由Refining Agent对这些响应进行过滤、对齐和融合，生成最终的高质量答案。这种设计将路由冲突从必须压缩为单一决策转变为多视角证据在答案层面统一。

方法步骤详情

TCAR的方法包含以下完整步骤。第一步，问题形式化：定义Agent集合，每个Agent通过自然语言描述表示其能力，定义提示构建函数将指令、查询和Agent描述拼接。第二步，动态Agent加入：新Agent只需将其描述添加到现有集合，路由器无需修改或重新训练。第三步，推理-选择过程：路由器接收完整提示后，生成推理链和候选Agent集合，其中推理链使用专门的reason标签以兼容指令跟随模型和思考模型。第四步，多Agent协作执行：对候选Agent集合中的每个Agent并行调用，生成各自的专业响应。第五步，Refining Agent聚合：将多个响应融合为最终答案。第六步，两阶段训练：先用SFT训练基本模式，再用DAPO强化学习优化，奖励函数包含精度奖励、覆盖奖励和长度惩罚项。

技术新颖性

TCAR的技术新颖性体现在多个层面。首先，在路由范式上，TCAR首次将自然语言推理引入领域路由器，将路由从分类任务转变为推理任务，这与传统BERT分类器、KNN相似度方法、甚至ArchRouter等基于人类偏好的方法都有本质区别。其次，在训练策略上，TCAR创新性地采用SFT+DAPO的两阶段训练，并引入Slerp模型融合技术来初始化RL阶段，融合后的模型在RL早期表现出更高的探索能力（更高熵值），有效避免了熵坍塌问题。第三，在奖励设计上，TCAR将路由奖励分解为精度奖励和覆盖奖励两部分，并加入长度惩罚项，鼓励模型在预测相关Agent的同时避免过度预测。第四，在系统架构上，TCAR设计了完整的路由到协作到聚合流水线，通过Refining Agent解决了多Agent响应之间的冲突，这在现有路由工作中是前所未有的。实验表明，仅4B参数的TCAR在5个数据集中的4个上超越了GPT-5.1、Claude-4.5等大模型，验证了推理驱动路由的有效性。

**Figure 2**: (a) Solo Agent: the router outputs a single agent, and that agent directly responds to the user's query.(b) Refining Agent: the router outputs a set of candidate agents, and the refining agent integrates their outputs into a final answer.

**Figure 4**: Comparing RL initialized from the SFT model and from the Slerp-merged model.

实验结果

TCAR在多个公开数据集和真实企业数据集上实现了最先进的性能。在CLINC150数据集上，TCAR达到91.25%的准确率，虽然略低于Claude-4.5的94.21%和GPT-5.1的93.84%，但考虑到TCAR仅有4B参数，这已经是相当出色的表现，远超同规模的Qwen3-4B-Instruct-2507（70.12%）和ArcRouter（62.98%）。在HWU64数据集上，TCAR达到91.63%的准确率，超越所有对比模型包括GPT-5.1（85.59%）和Claude-4.5（87.40%）。在MINDS14多语言数据集上，TCAR达到96.70%，同样超越所有对比模型。在SGD多轮对话数据集上，TCAR的优势最为显著，达到91.58%的准确率，而GPT-5.1仅为73.90%，Claude-4.5为76.02%，DeepSeek-v3.1为79.70%。在腾讯云QCloud企业数据集上，TCAR达到93.98的F1分数，超越DeepSeek-v3.1（92.98）和GPT-5.1（92.93）。消融实验表明，推理能力对性能有显著贡献：在SGD数据集上，无推理版本为84.96%，有推理版本提升至91.58%；在QCloud上，从91.33%提升至93.98%。RL训练同样带来显著改进，特别是在SGD数据集上，SFT-only为86.30%，SFT+RL提升至91.58%，提升了5.28个百分点。Refining Agent在故障排除型查询上展现出强大的能力，人类偏好胜率高达63%。

**Table 1**: Comparison of model performance across datasets.

**Table 2**: Comparison of the performance with and without reasoning output.

**Table 3**: Comparison between SFT-only training and SFT followed by RL.

**Table 4**: Comparison between initializing the RL stage with the SFT model and initializing it with the Slerp-merged model.

**Figure 3**: Win/Tie/Lose comparison of Refining Agent vs single agent for consultation and troubleshooting queries.

查看结构化数据

任务	指标	本文	基线	提升
CLINC150 意图分类	Accuracy	91.25%	GPT-5.1: 93.84%, Qwen3-4B: 70.12%	超越同规模模型21.13个百分点，接近大模型性能
HWU64 意图分类	Accuracy	91.63%	GPT-5.1: 85.59%, Claude-4.5: 87.40%	超越所有对比模型，提升4.23-11.34个百分点
MINDS14 多语言意图分类	Accuracy	96.70%	Claude-4.5: 96.20%, GPT-5.1: 95.59%	超越所有对比模型，提升0.50-6.62个百分点
SGD 多轮对话路由	Accuracy	91.58%	DeepSeek-v3.1: 79.70%, GPT-5.1: 73.90%	超越所有对比模型，提升11.88-32.84个百分点
QCloud 企业场景路由	F1	93.98	DeepSeek-v3.1: 92.98, GPT-5.1: 92.93	超越所有对比模型，提升1.00-13.17点

局限与改进

作者承认TCAR存在几个主要局限性。首先，TCAR的路由性能高度依赖Agent描述的质量。路由器的推理链依赖于人工编写的Agent描述，当这些描述过于简短、模糊或未能完整表示Agent的真实职责范围时，推理链可能偏离预期语义，最终影响路由准确性。其次，在长尾知识和领域迁移方面，对于低频或高度专业化的场景（如罕见API或特殊网络配置），模型可能因训练样本不足而表现不稳定。当指令格式被大幅修改时，模型的指令跟随能力可能下降，需要额外进行领域特定数据的微调。此外，从实验结果来看，TCAR在CLINC150数据集上表现相对较弱（91.25% vs Claude-4.5的94.21%），这可能是因为该数据集包含150个意图类别，导致提示长度平均达到18k tokens，对小模型的超长序列处理能力提出了挑战。推理链与最终预测之间偶尔存在不一致也是一个待解决的问题。

独立分析的弱点

TCAR存在几个值得深入分析的弱点。第一，Agent描述质量的依赖性问题：当前系统要求人工编写Agent描述，这在实际部署中可能成为瓶颈。改进方向包括开发自动化的Agent描述生成机制，或利用Agent的历史交互数据来自动生成和更新描述。第二，推理链与预测的一致性问题：论文提到某些情况下推理步骤合理但输出的Agent与推理不一致，这表明模型内部的推理-预测对齐机制尚不完善。可以通过引入推理链与预测结果的一致性约束损失来改进。第三，长序列处理能力限制：在CLINC150（18k tokens平均长度）上表现不佳，说明4B模型在处理超长提示时存在困难。可以通过引入更高效的注意力机制或分层路由策略来解决。第四，Refining Agent的额外开销：虽然平均额外Agent调用仅为0.37次，但在高并发场景下仍可能带来显著成本，需要优化Refining Agent的触发条件和处理效率。

未来方向

作者提出了几个明确的未来研究方向。第一，探索结构化推理链约束：当前推理链是自由生成的自然语言，未来可以引入更结构化的推理框架，确保推理过程的逻辑一致性。第二，更高效的协作协议：当前多Agent协作是简单的并行调用+聚合，未来可以探索更智能的协作策略，如Agent之间的迭代交互、优先级排序等。第三，低成本的新兴业务领域扩展策略：研究如何在不进行大规模重新训练的情况下，快速适应新的业务领域和Agent类型。基于当前成果，还可以延伸以下方向：探索TCAR在其他多Agent应用场景（如代码生成、科学推理）中的泛化能力；研究推理链的压缩和优化，减少推理带来的延迟开销；开发自动化的Agent发现和注册机制，实现真正的动态Agent生态系统。

复现评估

TCAR在复现方面具有良好的基础。作者已在HuggingFace上开源了模型，支持社区进一步研究和应用。训练框架使用开源的ms-swift框架，SFT阶段使用8 GPU数据并行，batch size 256，训练1个epoch，学习率2e-5，warmup比例0.1。RL阶段使用SFT模型，温度设置为1，每个训练样本进行8次rollout，rollout一致性阈值为0.6。然而，完整的复现仍面临一些挑战：QCloud企业数据集未公开，仅提供了4个公开数据集的评估；训练数据的具体构建方式和格式未详细说明；Slerp模型融合的具体实现细节需要从ms-swift框架中推断。总体而言，复现难度中等，主要挑战在于数据准备和RL阶段的超参数调优。

TCAndon-Router：面向多智能体协作的自适应推理路由器 TCAndon-Router: Adaptive Reasoning Router for Multi-Agent Collaboration