RouteMoA：无需预推理的动态路由提升高效混合智能体框架

通过轻量级评分器和混合裁判实现动态模型选择，成本降低89.8%且性能更强

前置知识

Mixture-of-Agents (MoA)

混合智能体是一种多模型协作框架，通过多轮并行推理来提升LLM性能。在每一层中，多个LLM同时处理输入并生成响应，然后将所有响应拼接作为下一层的输入。通过迭代的回复和摘要过程，多个模型相互参考彼此的输出，最终产生优于单一模型的结果。典型架构包含L层，每层包含多个提议者LLM，最后一层使用单一LLM进行聚合。

MoA是本文要改进的基础框架，理解其密集拓扑结构（每层所有模型都参与推理）的高成本问题是理解RouteMoA动机的关键。

Sparse MoA (SMoA)

稀疏混合智能体是MoA的改进版本，引入了一个基于LLM的裁判模型来过滤响应，只将最优响应传递到下一层。这减少了输入token数量，但仍然需要所有模型进行推理，同时还需要额外的裁判模型。相比经典MoA，SMoA在输入token上有所节省，但总体计算成本仍然很高。

SMoA是本文的主要对比基线之一，理解其局限性（仍需全模型推理、缺乏模型选择标准）有助于理解RouteMoA的创新点。

LLM路由 (LLM Routing)

LLM路由是一种根据用户查询选择最合适模型的技术。元模型被训练来预测不同模型在给定输入上的性能，从而避免调用所有候选模型。现有方法如ZOOTER通过KL散度将奖励信号蒸馏到小型语言模型路由器中，RouterDC使用双重对比损失提升准确性，RouteLLM专注于强弱模型之间的二元路由。

RouteMoA属于LLM路由的范畴，但创新性地结合了先验知识（基于查询）和后验知识（基于模型输出）进行动态路由，这是与已有路由方法的本质区别。

对比学习 (Contrastive Learning)

对比学习是一种通过拉近正样本对、推远负样本对来学习表示的方法。在RouteMoA中，使用了两种对比损失：样本-LLM对比损失确保能回答查询的模型嵌入更接近查询嵌入，样本-样本对比损失鼓励语义相似的查询具有更接近的嵌入。通过这种方式，评分器能够学习查询与模型能力之间的关联。

对比学习是评分器训练的核心技术，理解其工作原理有助于理解RouteMoA如何实现精准的模型选择。

自我评估与交叉评估 (Self- and Cross-Assessment)

自我评估是指LLM对自身输出质量进行评分的能力，研究表明LLM具有判断自己是否理解问题的自我认知能力。交叉评估是指LLM评判其他模型响应的能力，使其在多智能体设置中成为有效的评估者。在RouteMoA中，这两种评估被用于混合裁判系统，以修正初始评分器的预测错误。

这是RouteMoA的核心创新之一，通过后验知识（实际模型输出）来修正先验预测，无需额外推理成本即可提升模型选择准确性。

研究动机

当前MoA框架面临严重的效率瓶颈。经典MoA要求每一层的所有LLM都进行推理，然后将所有输出拼接作为下一层输入，导致极高的计算成本和延迟。以15个模型的大规模池为例，MoA处理数学推理任务的成本高达751.1美元，延迟达619.5秒。Sparse MoA虽然引入了LLM裁判来过滤响应，但仍需所有模型进行推理，且额外增加了裁判模型的开销。此外，这些方法缺乏明确的模型选择标准，当模型池规模超过10个时，全推理变得不可行——成本过高且往往超出上下文长度限制。在实际部署中，不同模型展现出明显的专业化特征：Qwen2.5-Coder在编码任务中领先但在生物医学任务中表现较差，Qwen2.5-Math在数学上优异但在其他领域挣扎，Bio-Medical-Llama在生物医学知识上占主导但在数学上仅得11.7分。这种能力差异使得根据查询预测模型性能成为可能，但现有方法未能利用这一特性。

本文的目标是本文旨在提出一个高效且可扩展的MoA框架，通过动态路由机制在保持甚至提升性能的同时，大幅降低计算成本和延迟。具体目标包括：在大规模模型池（15个LLM）场景下实现超过80%的成本削减和60%的延迟降低；在小规模模型池（5个LLM）场景下超越现有MoA和SMoA的准确率；实现出色的分布外泛化能力，能够处理未见过的任务；以及支持灵活的模型池扩展，新增LLM只需轻量级再训练。

与已有工作不同的是，RouteMoA的独特切入角度在于其先验-后验结合的路由策略。现有路由方法仅依赖查询级先验知识来预测模型性能，这要求评分器提供精确的性能预测。RouteMoA认识到评分器无需完美预测，只需将候选池缩小到包含正确模型的子集即可。它创新性地引入混合裁判系统，利用模型实际输出的后验知识（自我评估和交叉评估）来修正初始预测错误。这种设计放松了对精确性能预测的要求，使得使用仅86M参数的轻量级SLM评分器成为可能。此外，RouteMoA首次解决了大规模模型池的路由问题，现有方法因缺乏明确选择标准而在池规模扩大时失效。

核心方法

RouteMoA的架构可以用一个图书馆的比喻来理解：想象你需要从15位专家中选择3-5位来回答问题。传统MoA会让所有专家都先思考一遍，然后综合答案；而RouteMoA先用一个聪明的小助手（轻量级评分器）根据问题快速筛选出最可能擅长的专家，然后让这些专家给出答案。更重要的是，专家们还会互相评价彼此的答案（交叉评估）并反思自己的回答（自我评估），这些后验信息被用来动态调整后续轮次的专家选择。整个框架按层运作：每一层包含一个路由器，路由器内部包含评分器、混合裁判和模型排名三个组件。第一层使用评分器基于查询进行初始筛选，后续层结合自我评估和交叉评估进行分数修正。当达到最大层数或满足早停条件时，系统进入聚合阶段产生最终输出。

RouteMoA最核心的创新在于其先验-后验结合的路由机制。与现有LLM路由方法（如ZOOTER、RouterDC、RouteLLM）仅依赖查询级先验知识不同，RouteMoA引入了后验知识修正机制。评分器基于查询提供粗粒度的初始分数，其目标不是精确预测模型性能，而是高效地将候选集缩小到包含正确模型的小子集。然后，混合裁判系统利用模型实际输出的后验知识进行修正：自我评估利用LLM的自我认知能力（研究表明LLM能够评估自己是否理解问题），交叉评估利用LLM评判其他模型响应的能力。这种设计有三个关键优势：第一，放松了对评分器精度的要求，使得使用86M参数的小型模型即可胜任；第二，无需额外推理成本即可提升选择准确性；第三，通过多层迭代逐步优化模型选择。实验表明，评分器的Top-3 Hit Rate达到97.9%，意味着在97.9%的情况下至少有一个正确模型被包含在初始候选集中，一旦包含，多智能体协作机制就能有效识别并放大正确响应。

方法步骤详情

RouteMoA的完整流程包含以下步骤：第一步，评分训练。收集多领域数据集（数学、推理、编码、阅读理解、生物医学等），为每个查询获取所有模型的响应，使用ground-truth准确率和InternLM2-1.8B-Reward奖励模型计算性能分数，训练基于mDeBERTaV3-base（86M参数）的嵌入式评分器。第二步，第一层路由。评分器对查询进行编码，与每个模型的可学习嵌入计算相似度，通过sigmoid函数生成0-1之间的性能分数向量。第三步，模型排名与选择。根据性能分数、输出token成本、输入token成本和延迟的优先级顺序选择top-k模型。第四步，后续层路由。激活的模型生成响应，同时输出自我评估分数；最高分模型对前一层响应进行交叉评估；混合裁判通过分数归一化和逐元素平均计算最终分数。第五步，早停判断。当最大分数超过阈值或达到最大层数时，进入聚合阶段产生最终输出。

技术新颖性

RouteMoA的技术新颖性体现在以下几个方面：首先，它是首个将先验知识（查询级预测）与后验知识（模型输出评估）结合用于LLM路由的方法。现有方法要么只用先验知识（如ZOOTER、RouterDC），要么用LLM裁判进行后过滤（如SMoA），但都未实现两者的有机结合。其次，RouteMoA首次提出了适用于大规模模型池的动态路由方案，现有MoA方法在模型池超过10个时因成本和上下文限制而不可行。第三，创新性地将LLM的自我认知能力和交叉评估能力整合到路由过程中，形成混合裁判系统，这与传统LLM-as-a-Judge的应用场景不同——它不是用于评估最终答案质量，而是用于动态调整模型选择。第四，评分器采用嵌入式架构，借鉴推荐系统中的矩阵分解技术，每个模型有独立的可学习嵌入向量，通过查询嵌入与模型嵌入的点积计算匹配度，这种设计比训练一个端到端的分类模型更轻量且可扩展。

实验结果

RouteMoA在多个实验场景下展现出卓越的性能和效率优势。在大规模模型池（15个LLM，参数规模从4B到235B）评估中，RouteMoA的平均准确率达到78.6%，显著超越MoA（71.3%，提升10.2%）和SMoA（69.7%，提升12.8%）。在数学推理任务上提升最为显著，从MoA的49.7%提升到73.3%，增幅达47.5%。效率方面，RouteMoA将总成本从MoA的447.8美元降至45.6美元，削减89.8%；延迟从248.1秒降至90.2秒，降低63.6%。在小规模模型池（5个LLM）评估中，RouteMoA的平均准确率为83.1%，通过配对t检验确认对SMoA（82.6%）的提升具有统计显著性（t=2.296, p=0.0217<0.05）。成本方面，从MoA的36.03美元降至6.71美元，削减81.4%。在分布外泛化实验（AGIEval-Gaokao，包含9个学科）中，RouteMoA以54.62%的平均准确率超越SMoA（52.92%），同时成本降低11.5%，延迟降低24.7%。评分器评估显示，Top-1 Hit Rate达到90.7%，Top-3 Hit Rate达到97.9%，Top-3 Agreement Rate达到96.2%，证明评分器能够有效地将候选池缩小到包含正确模型的子集。

查看结构化数据

任务	指标	本文	基线	提升
大规模模型池平均准确率	Accuracy (%)	78.6	71.3 (MoA)	+10.2%
大规模模型池总成本	Cost ($)	45.6	447.8 (MoA)	-89.8%
大规模模型池平均延迟	Latency (s)	90.2	248.1 (MoA)	-63.6%
小规模模型池平均准确率	Accuracy (%)	83.1	82.6 (SMoA)	+0.6% (p<0.05)
小规模模型池总成本	Cost ($)	6.71	36.03 (MoA)	-81.4%
分布外泛化（AGIEval-Gaokao）	OOD Avg. Accuracy (%)	54.62	52.92 (SMoA)	+3.2%
评分器Top-3 Hit Rate	Top-3-Hit (%)	97.9	N/A	N/A

局限与改进

论文作者承认的主要局限性是评分器需要重新训练以支持新的LLM。虽然整合新LLM只需在小型查询集上训练轻量级评分器（约25分钟），但这仍然增加了部署的复杂性。此外，我的独立分析发现以下局限：首先，评分器的训练数据覆盖了数学、推理、编码、阅读理解和生物医学五个领域，但在其他领域（如创意写作、多语言任务）的有效性尚未验证。其次，早停阈值的选择需要根据具体应用场景调整，论文未提供自动选择机制。第三，混合裁判依赖于模型的自我评估能力，但不同模型的自我认知准确性可能存在差异，这在论文中未被充分讨论。第四，虽然RouteMoA展示了在15个模型池上的可扩展性，但对于更大规模（如50-100个模型）的场景，评分器的训练和推理效率仍需验证。最后，实验主要在英语基准上进行，中文等其他语言的性能表现需要进一步评估。

独立分析的弱点

我对RouteMoA的独立分析发现以下弱点及改进方向：第一，评分器的再训练需求限制了实际部署的灵活性。当新增LLM时，需要收集该模型在查询集上的响应并重新训练评分器。改进方向是探索增量学习或元学习方法，使评分器能够快速适应新模型而无需完全重训练。第二，混合裁判系统假设模型的自我评估和交叉评估是可靠的，但这一假设在某些情况下可能不成立。例如，对于高度专业化的问题，模型可能无法准确评估自己或他人的回答质量。改进方向是引入置信度校准机制，当评估不确定性高时回退到更保守的策略。第三，模型排名的优先级顺序（性能、输出token成本、输入token成本、延迟）是固定的，但在不同应用场景下，用户可能有不同的权衡偏好。改进方向是将排名过程设计为可配置的多目标优化问题。第四，评分器采用双对比损失进行训练，但正负样本的选择基于k-means聚类，聚类数量（k=6）的设定可能不够鲁棒。改进方向是探索自适应聚类或基于密度的样本选择策略。

未来方向

作者提出未来将探索无需再训练的路由方法，这是一个重要的研究方向。基于RouteMoA的成果，我认为可以延伸以下方向：首先，将动态路由思想扩展到多模态模型协作场景，不同模型可能擅长处理图像、文本或音频等不同模态的输入。其次，探索更细粒度的路由策略——不仅选择哪些模型参与，还可以决定每个模型在不同层的角色（提议者、评估者、聚合者）。第三，研究路由策略的可解释性，让用户理解为什么选择特定模型组合，这在医疗、法律等高风险应用中尤为重要。第四，将RouteMoA与模型压缩技术（如量化、蒸馏）结合，进一步降低被选中模型的推理成本。第五，探索跨语言、跨领域的路由泛化能力，研究是否可以训练一个通用的路由策略，适用于不同类型的任务和模型池。

复现评估

RouteMoA的复现性较好。论文使用OpenCompass进行数据生成和评估，这是一个开源的通用评估平台。评分器训练使用mDeBERTaV3-base作为编码器，这是一个公开可用的预训练模型（86M参数）。训练数据来自多个公开数据集（MATH-500、ARC-Challenge、MBPP、RACE-high、MMLU-bio等），这些数据集均可公开获取。训练参数设置明确：学习率5×10^{-5}、权重衰减0.01、批大小64、alpha=0.2、lambda=0.5。训练可在80GB GPU上完成，新增LLM的评分器再训练约需25分钟。评估使用的模型池（Gemma-2-9B、Ministral-8B、Qwen2.5-Coder-7B、Qwen2.5-Math-7B、Bio-Medical-Llama-3-8B）均为开源模型。论文还提供了详细的提示模板和数据集统计。总体而言，一个有经验的研究团队应该能够在给定的计算资源下复现论文结果。

RouteMoA：无需预推理的动态路由提升高效混合智能体框架 RouteMoA: Dynamic Routing without Pre-Inference Boosts Efficient Mixture-of-Agents