基于细粒度潜在任务发现的可扩展提示路由 Scalable Prompt Routing via Fine-Grained Latent Task Discovery
通过自动发现细粒度任务和任务感知质量估计实现高效LLM路由
前置知识
Prompt Routing
提示路由是一种动态选择技术，根据输入查询的特征从候选模型池中选择最合适的语言模型，旨在优化性能的同时控制计算成本。它通过学习输入提示与模型性能之间的映射关系，避免为所有查询都调用最昂贵的模型，从而实现成本效益的平衡。
这是本文的核心问题框架，理解提示路由的基本概念和挑战（如模型池规模化、性能差异细微化）是理解本文创新点的基础。
Mixture-of-Experts (MoE)
混合专家架构是一种模块化设计，将整个模型分解为多个专门的子模型（专家）和一个门控网络。门控网络根据输入决定激活哪些专家，每个专家在其专门领域内提供高质量的预测。这种设计既保持了计算效率，又通过专业化提升了整体性能。
本文的第二阶段路由核心采用了MoE架构，通过任务特定的预测头实现专业化路由，理解MoE原理对于掌握本文方法的技术细节至关重要。
Leiden Community Detection
Leiden算法是一种用于图聚类的社区发现方法，它能够保证检测到的社区是良好连接的（即社区内任何两个节点之间都存在路径）。算法通过迭代优化模块度等指标，将图中的节点划分到具有紧密内部连接的社区中，适用于发现潜在的任务类型。
本文的任务发现阶段依赖Leiden算法来识别语义相似且模型偏好一致的提示簇，这是实现细粒度任务自动发现的关键技术组件。
Rank Biased Overlap (RBO)
排序偏差重叠是一种衡量两个排序列表相似度的指标，它考虑了排名靠前的项目具有更高的重要性。RBO通过计算在逐渐增加的截断长度下的重叠比例来生成一个相似度分数，特别适合比较不同模型在不同任务上的性能排序。
本文使用RBO来度量不同提示之间的模型偏好相似性，这是构建提示图边的核心权重计算方法，直接影响任务发现的质量。
Quality-Based Routing
基于质量的路由将模型选择问题从简单的分类任务重新定义为回归任务。它不是直接预测哪个模型最好，而是学习一个质量估计函数，预测给定提示和模型的响应质量，然后选择质量最高的模型。这种方法能更好处理多个模型性能相近的情况。
本文采用了质量路由框架而不是传统的分类路由，这是应对前沿模型间性能差异细微化的关键技术选择，理解这一点对于把握本文方法的理论基础很重要。
研究动机
随着大语言模型池扩展到包含数十个性能差异细微的前沿模型，现有的提示路由方法面临显著挑战。传统方法要么依赖手动定义的粗粒度任务分类体系，这无法捕捉模型在细粒度能力上的区别，要么训练单一的整体路由器来预测所有提示类型的模型质量，这难以区分跨不同任务的细微差异。例如，在广泛的数学类别内，不同模型在符号代数操作和语境应用题上的表现可能差异巨大，但粗粒度分类将它们统一处理。当在性能差异狭窄的前沿模型之间进行路由时，任务变得更具挑战性，因为系统需要识别哪些模型更适合给定提示的细微任务模型亲和力模式。
本文的目标是本文提出FineRouter，一个两阶段路由架构，通过自动化的细粒度任务发现和任务感知质量估计来解决上述限制。第一阶段采用基于图的聚类方法自动发现潜在任务类型，并训练分类器将提示分配到发现的任务中。第二阶段使用混合专家架构和任务特定的预测头进行专业化质量估计。在推理时，系统聚合来自两个阶段的预测，平衡任务级别的稳定性与提示级别的适应性。该方法的目标是在保持计算效率的同时，显著提高大规模模型池中的路由准确性。
与已有工作不同的是，本文的独特切入角度在于显式地推断潜在任务结构，而不是依赖预定义的分类体系或让单一模型处理所有区分任务。与先前工作相比，本文在两个方面有本质区别：首先，自动发现任务结构而不是依赖预定义的类别，这使得方法能够捕捉到人类可能遗漏的细微任务区分；其次，使用发现的任务来专门化预测头，而不仅仅是过滤候选模型，这使得每个任务类型能够学习专门的路由知识。这种设计使得系统在模型池规模扩大到数十个具有细微性能差异的强大候选者时仍能保持有效。
核心方法
FineRouter采用两阶段架构来处理大规模模型池中的提示路由问题。从直觉上理解，不同的大语言模型在不同类型的任务上表现出不同的优势，而传统方法要么无法捕捉这些细微差异，要么计算成本过高。本文的技术路线通过自动化地发现任务结构，将复杂的路由问题分解为更易处理的子问题：第一阶段通过分析提示的语义相似性和模型偏好模式，自动识别出细粒度的任务类型；第二阶段基于这些任务类型训练专业化的质量估计器，使得每个任务类型都有自己专用的路由专家。
核心创新点在于将任务发现从人工标注转变为数据驱动的自动化过程，并使用发现的任务来专门化质量估计模型。与现有方法依赖预定义的粗粒度任务分类或训练单一的整体路由器不同，FineRouter通过图聚类从训练数据中自动发现332个细粒度任务类型，每个任务类型平均关联3.55个候选模型。这种细粒度的任务建模使得系统能够识别出如符号数学与应用题在数学领域内的差异，甚至是电话区号查询这样的意外细分领域。更重要的是，第二阶段的MoE架构为每个任务类型配备专门的预测头，使得路由决策能够利用每个任务的专业化知识。
方法步骤详情
完整方法包含四个主要步骤。第一步是任务类型发现，使用LLM为每个训练提示生成简短的任务描述，然后构建提示图，其中节点代表提示，边的权重结合了任务描述的语义相似度和模型偏好的RBO相似度。应用Leiden社区检测进行迭代聚类，每个发现的社区代表一个细粒度任务类型。第二步是候选模型选择，对每个任务簇，使用rank fusion方法合并簇内所有提示的偏好模型排序列表，自适应地选择候选模型数量直到覆盖率超过阈值。第三步是训练任务类型分类器，采用双线性匹配架构，在多标签设置下使用二元交叉熵损失进行训练。第四步是训练MoE路由器，包含提示编码器、LLM嵌入层和质量估计层，有两类适配器：通用适配器和任务特定适配器。训练采用两阶段策略，先训练基础模型，然后微调任务特定预测头。
技术新颖性
技术新颖性体现在三个方面。首先，提出了自动化的细粒度任务发现框架，结合语义信号和性能信号来构建提示图，使用Leiden算法发现具有相似模型偏好的提示簇。这克服了手动分类体系无法规模化的问题，并能够揭示人类可能遗漏的潜在任务结构。其次，设计了任务感知的MoE质量估计架构，通过任务特定的预测头实现专业化路由知识，同时通过混合激活策略确保全面覆盖。第三，提出了两阶段聚合推理机制，最终路由分数结合了任务级别的稳定性和提示级别的适应性，使得路由决策既稳健又灵活。
实验结果
在10个基准数据集上的综合评估表明，FineRouter在11个前沿模型组成的候选池中持续优于现有路由基线方法。实验覆盖问答任务、多选题、数学推理和代码生成，总共278,977个训练样本、34,872个开发样本和34,873个测试样本。FineRouter实现了79.9%的平均质量分数，显著优于最佳基线路由器IPR的76.3%和最佳单模型Claude-Sonnet-4.5的79.6%。更重要的是，FineRouter在不到最佳单模型一半成本的情况下实现了优于它的性能。消融研究显示，两阶段架构都有意义贡献，其中细粒度分类器比粗粒度分类提供更有效的路由信号。路由分布分析显示均衡利用了多个高性能模型。案例分析揭示系统能够识别出符号数学与应用题在数学领域内的差异，这些区别会被粗粒度分类遗漏。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Question Answering (NQ) | Accuracy | 59.0 | DeepSeek-v3 (60.7) | 路由选择多模型组合优化整体性能 |
| CommonsenseQA | Accuracy | 83.3 | Claude-Sonnet-4.5 (85.7) | 接近最佳单模型性能同时降低成本 |
| Mathematical Reasoning (MATH) | Accuracy | 93.8 | Llama-4-Maverick (95.2) | 保持高性能水平的同时显著降低成本 |
| Code Generation (HumanEval) | Pass@1 | 68.4 | Claude-Sonnet-4.5 (63.2) | 超越最佳单模型 |
| Code Generation (MBPP) | Accuracy | 90.0 | Claude-Sonnet-4.5 (93.3) | 接近最佳性能同时优化成本 |
| Overall Average | Quality Score | 0.652 | IPR Router (0.646) | 优于所有基线路由器和单模型 |
局限与改进
作者承认了几个局限性。首先，任务发现依赖于LLM生成的任务描述和奖励模型分数作为监督信号，这使得发现的任务类型质量取决于用于描述生成的LLM能力和奖励模型的准确性。这些依赖可能引入偏差，特别是对于奖励模型仍然具有挑战性的专业领域或创造性任务。其次，基于图的聚类需要多个超参数，这些是在训练数据上调优的，最优设置可能因不同领域或模型池而异。第三，两阶段架构需要在训练阶段训练任务分类器和MoE路由器，涉及计算开销。方法还需要训练数据上所有候选模型的响应来计算质量分数，这可能并非在所有部署场景中都可行。第四，当前方法仅处理文本提示，扩展到多模态输入是未来有前景的方向。
独立分析的弱点
独立分析 reveals 几个具体弱点。首先是奖励模型噪声问题，使用SKYWORK-REWARD-V2作为质量函数虽然标准化，但对于复杂推理任务可能不够精确，特别是在模型间差异小于噪声水平时。改进方向可以是集成多个奖励模型或使用任务特定的评估指标。其次是候选模型选择的覆盖率阈值可能过于保守，导致某些任务类型的候选池过小，错过次优但仍然有效的模型。第三是任务分类器只能处理部分提示，这些未分类提示的性能明显低于已分类提示。改进方向可以包括为未分类提示开发专门的聚类和路由策略。第四是计算开销，完整流水线训练需要约135 GPU小时，对于资源有限的团队可能难以承受。可以考虑采用更轻量的编码器架构或知识蒸馏技术。
未来方向
作者提出了几个未来研究方向。最重要的是扩展到多模态输入，将任务发现扩展到视觉或音频特征。另一个方向是探索动态任务发现，使系统能够在线学习新任务类型。还可以研究更复杂的质量估计架构。基于本文成果可以延伸的研究包括将细粒度任务发现应用于模型压缩和蒸馏，开发任务感知的模型适配策略，研究路由决策的可解释性，将方法扩展到跨语言路由，探索层次化任务结构等。
复现评估
复现评估：本文目前没有开源代码，但提供了相对详细的实现细节。实验使用8个NVIDIA A100 GPU训练约17小时。关键超参数包括图构建时k等于5个近邻，RBO阈值为0.4，Leiden社区检测迭代3次，覆盖率阈值为0.8，推理聚合权重为0.5。数据集是公开的10个基准数据集。主要挑战在于需要访问所有候选模型生成训练数据，这需要大量的API调用和计算资源。对于想要复现的研究者，建议首先在小规模模型池上验证方法的有效性。总体而言，虽然本文提供了充分的实现细节，但完整的复现需要相当的计算资源和API预算。
论文图表