动态模型路由与级联：高效LLM推理综述 Dynamic Model Routing and Cascading for Efficient LLM Inference: A Survey
系统综述多LLM动态路由与级联方法，优化推理时性能-成本权衡
前置知识
模型路由 (Model Routing)
在推理时根据查询特征动态选择最合适的LLM，而非使用单一模型处理所有请求。路由系统分析输入查询的复杂度、领域、任务类型等特征，从模型池中选择能够以最优成本-性能比处理该查询的模型。这是一种元决策机制，需要在推理前或推理后做出选择。
本文核心研究对象，理解路由机制是理解整篇论文的基础
模型级联 (Model Cascading)
顺序执行的多模型推理策略，先用较小、较快的模型生成初始响应，然后根据质量评估决定是否升级到更大、更强的模型。级联系统通过质量估计器评估响应，使用阈值或停止判断器决定是否继续。这种渐进式策略可以在保持质量的同时显著降低成本。
本文重点研究的另一核心范式，与路由互补，理解级联对掌握多模型部署策略至关重要
多臂老虎机 (Multi-Armed Bandit)
在线学习的经典框架，模拟在多个选项中做决策的问题。在LLM路由中，每个'臂'代表一个候选模型，系统需要平衡探索（尝试新模型以了解其能力）和利用（选择已知表现好的模型）。常用算法包括LinUCB、Thompson Sampling等，通过不断接收反馈更新路由策略。
论文第5节RL路由的重要方法类别，理解bandit框架对掌握在线路由学习至关重要
不确定性量化 (Uncertainty Quantification)
估计模型对其输出置信度的方法，包括基于探针的方法（训练分类器预测置信度）、基于概率的方法（分析token概率分布）、以及自验证方法（让模型自我评估）。有效的不确定性量化可以识别何时需要升级到更强模型，是级联系统的关键组件。
论文第6节专门讨论基于不确定性的路由，是理解质量估计和升级决策的关键
Pareto最优 (Pareto Optimality)
多目标优化中的概念，指在多个相互冲突的目标之间找到最优权衡点。在LLM路由中，通常需要在性能、成本、延迟等多个目标间权衡。Pareto前沿表示所有最优解的集合，任何偏离前沿的解都可以通过调整同时改善某个目标而不损害其他目标。
论文评估路由系统的重要框架，理解Pareto最优对分析实验结果至关重要
研究动机
当前LLM部署面临根本性的成本-性能困境。生产环境中，查询复杂度差异巨大，从简单的事实性问题到复杂的多步推理任务。当使用单一模型处理所有请求时，简单查询被路由到强大模型会浪费计算资源，而复杂查询可能超出较小模型的能力范围。例如，MixLLM的研究表明，通过智能路由可以达到GPT-4 97.25%的质量水平，但仅需24.18%的成本。现有静态部署方式无法根据查询复杂度和领域动态调整资源分配，导致性能不理想且成本增加。
本文的目标是本文旨在提供一个系统性的分析框架，对当前最先进的多LLM路由和级联方法进行全面综述。具体目标包括：（1）建立统一的分类体系，将现有方法组织为六大范式——难度感知、人类偏好对齐、聚类、强化学习、不确定性和级联；（2）引入概念设计空间框架，从决策时机（when）、使用信息（what）、计算方式（how）三个维度表征路由系统；（3）分析各方法的权衡与适用场景；（4）识别开放挑战和未来研究方向，为高效多LLM部署研究提供基础。
与已有工作不同的是，本文的独特切入角度体现在三个方面。首先，与混合专家（MoE）架构不同，本文专注于在独立训练的多个LLM之间进行路由，而非单一模型内部的路由，这更贴近实际多模型部署场景。其次，现有综述通常关注单一范式，本文首次提出三维设计空间框架（when/what/how），揭示实际系统往往是组合性的，集成多个范式以满足操作约束。第三，本文识别出当前文献的结构性空白：没有方法同时结合响应级信号与在线适应，强化学习在级联范式中的应用有限，统一多目标优化问题的求解仍待探索。这种多维视角有助于揭示系统间的真实重叠，为未来研究指明方向。
核心方法
本文采用系统性文献综述方法，通过三维设计空间框架对多LLM路由和级联方法进行组织和分析。整体思路是先建立分类体系（六大范式），然后引入概念框架（决策时机、信息源、计算方式）进行统一表征。技术路线包括：首先定义路由和级联的基本概念，然后按范式分类详细分析代表性方法，接着通过设计空间矩阵（Table 1）展示各方法在三维空间中的位置，最后综合分析实际系统的组合特性。这种分层组织方式既提供了技术细节，又揭示了方法间的联系和空白。
本文的核心创新点在于提出三维设计空间框架，这是与已有综述的本质区别。传统综述通常按技术方法分类，本文额外引入两个分析维度：（1）决策时机维度（pre-generation/post-generation/multi-stage/online），揭示路由决策在推理流程中的位置；（2）信息维度（query/model metadata/response/feedback），分析路由系统使用的信息丰富度。这种多维表征不仅揭示了方法间的深层联系（例如，聚类和难度感知方法通常是pre-generation的，而不确定性和级联方法涉及post-generation决策），还识别出结构性空白——没有方法同时结合响应级信号与在线适应。这种框架将路由视为控制流水线，包含三个协调阶段：低成本pre-router、post-generation验证器、升级策略，为实际系统设计提供指导。
方法步骤详情
本文的方法分析遵循系统化流程。首先，对每个范式（难度感知、偏好对齐、聚类、RL、不确定性、级联），详细分析代表性方法的工作原理。以难度感知路由为例，分析了BEST-Route使用DeBERTa-v3-small评估查询难度，通过best-of-n采样增强小模型性能；vLLM Router使用ModernBERT分类器分析查询意图和复杂度，路由需要推理的查询到具有思维链能力的模型。其次，通过设计空间矩阵（Table 1）将每个方法映射到三维空间，标注其决策时机（pre/post/multi-stage）、信息源（query/model/response/feedback）、计算方式（heuristic/supervised/bandit/RL）。第三，分析方法的组合特性，例如FrugalGPT和Cascade Routing实例化了所有三个流水线阶段，而bandit方法将验证和升级阶段折叠为隐式奖励信号。最后，通过多维视角识别方法间的真实重叠和结构性空白。
技术新颖性
本文的技术新颖性体现在多个层面。首先，三维设计空间框架是全新的分析工具，超越了传统的分类方法，能够揭示方法间的深层联系和空白。其次，本文首次系统性地将实际系统建模为三阶段控制流水线（pre-router、verifier、escalation policy），这种视角将看似不同的方法统一在同一框架下。第三，本文识别出当前文献的三个结构性空白：（1）没有方法同时结合响应级信号与在线适应（不确定性和级联方法使用响应信号但部署后静态，bandit方法在线适应但仅使用查询级信号）；（2）强化学习在级联范式中的应用有限；（3）统一多目标优化问题的求解仍待探索。这些空白为未来研究提供了具体方向。此外，本文对多模态路由的讨论也填补了现有综述的空白，分析了视觉输入对路由决策的新挑战。
实验结果
本文的核心发现可以通过各方法的实验结果综合呈现。在性能-成本权衡方面，MixLLM采用上下文老虎机框架，在时间约束下达到GPT-4 97.25%的质量水平，但仅需24.18%的成本。GreenServ将能耗效率引入路由目标，相比随机路由实现22%的准确率提升，同时累计能耗降低31%，每查询路由开销低于8毫秒。R2-Reasoner通过子任务分解和GRPO训练，实现84.46%的API成本节省，同时保持竞争力的推理准确率。在泛化能力方面，GraphRouter通过异构图结构建模任务、查询和LLM之间的关系，能够泛化到新引入的LLM而无需重新训练。ICL-Router通过将模型能力表示为紧凑的上下文向量，新模型只需在代表性查询集上评估即可集成，无需重新训练路由器。UniRoute的聚类方法同样支持在推理时添加新LLM，只需在现有聚类上评估其性能。在级联系统方面，AutoMix使用少样本自验证进行路由决策，Self-REF通过轻量级微调引入置信度token，实现更可靠的置信度估计。这些结果表明，精心设计的路由系统可以通过战略性地利用模型间的互补性和专业化来超越最强单个模型，同时实现显著的效率提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 指令跟随任务 | 质量-成本比 | MixLLM: GPT-4质量的97.25% | GPT-4单模型 | 成本降至24.18% |
| 多模型路由 | 准确率提升 | GreenServ: 累计能耗降低31% | 随机路由 | 准确率提升22% |
| 复杂推理任务 | API成本节省 | R2-Reasoner: 成本节省84.46% | 单一强大模型 | 保持竞争力准确率 |
| 多模型评估 | 路由准确率 | RouterEval: 超越最强单模型 | 单一最强模型 | 通过模型互补性实现 |
| 多模态路由 | probe准确率 | ReLope: Attention Probe + LoRA | 文本LLM探针方法 | 在视觉输入下显著提升 |
局限与改进
本文的局限性体现在多个方面。首先，作为综述论文，本文主要提供分类和分析框架，而非提出新的路由方法，因此缺乏原创性的实验验证。其次，本文对各方法的实验结果依赖于原始论文的报告，可能存在实验设置、基准数据集、评估指标不一致的问题，这限制了方法间的直接比较。第三，本文主要关注文本LLM路由，虽然第8节讨论了多模态路由，但该领域仍处于早期探索阶段，相关文献有限。第四，本文的设计空间框架虽然提供了有用的分析维度，但某些方法在多个维度上的分类存在模糊性，例如某些方法同时使用启发式和监督学习机制。第五，本文对实际生产部署的讨论相对有限，缺乏对工程实现挑战、系统集成、运维复杂度等方面的深入分析。此外，本文对计算开销的分析主要关注路由决策本身的成本，而对整体系统性能（包括模型加载、内存管理、批处理优化等）的讨论较少。
独立分析的弱点
本文的主要弱点包括以下方面。首先，缺乏统一的实验评估框架，各方法使用不同的基准数据集和评估指标，难以进行公平比较。建议未来研究建立标准化的评估协议，包括统一的基准数据集、评估指标和实验设置。其次，本文对路由系统的计算开销分析不够深入，主要关注路由决策本身的成本，而忽略了模型加载、内存管理、批处理优化等系统级开销。建议增加对端到端系统性能的分析，包括首次token时间（TTFT）、每token时间（TPOT）、吞吐量等指标。第三，本文对多模态路由的讨论相对简略，仅用一节篇幅，而随着视觉、音频、语言多模态模型的发展，该领域的重要性日益增加。建议扩展多模态路由的分析，包括跨模态表示融合、多模态查询处理、模态特定计算成本等挑战。第四，本文对实际生产部署的工程挑战讨论有限，缺乏对系统集成、运维复杂度、监控调试等方面的深入分析。建议增加对工业界实际部署案例的讨论。
未来方向
本文作者提出的未来研究方向包括三个方面。首先，泛化能力是关键挑战，当前许多路由方法在固定LLM集上评估，难以泛化到新模型、领域或数据分布。开发无需重新训练、可跨多样架构、任务和部署场景迁移的方法是开放挑战。其次，多阶段级联系统的研究不足，大多数工作探索单阶段路由而非级联系统，而实际部署很少符合单一范式。未来研究应反映实际应用，其中查询和输出在多个层级处理，平衡质量、效率和安全性。第三，多模态路由需要深入研究，包括融合多模态输入进行路由决策、处理需要多模态的查询、适应跨模态架构的计算成本。基于本文成果可延伸的方向包括：（1）开发结合响应级信号与在线适应的bandit式升级策略；（2）将强化学习应用于级联范式，学习升级策略；（3）形式化并求解统一多目标优化问题，将性能、成本、延迟等指标作为一等可调目标；（4）探索路由与模型压缩、量化、蒸馏的协同优化。
复现评估
本文作为综述论文，其可复现性主要体现在对原始方法的准确描述和分析框架的可应用性。本文本身不涉及新的实验，因此可复现性评估应关注其引用方法的开源情况。从文中引用的方法来看，许多方法提供了开源实现，如RouteLLM、UniRoute、Router-R1等，这为后续研究提供了基础。然而，部分商业系统（如GPT-4、Claude等）的路由结果难以完全复现，因为这些模型的API和定价可能变化。本文提出的三维设计空间框架具有良好的可复现性，研究者可以使用该框架对新方法进行分类和分析。数据方面，本文引用的基准数据集（如RouterBench、RouterEval、MixInstruct等）大多公开可用，为方法比较提供了基础。算力需求方面，本文本身不需要大量计算资源，但所综述的方法在训练和推理时有不同的计算需求，从轻量级启发式方法到需要大规模GPU训练的RL方法不等。总体而言，本文为研究者提供了理解和比较路由方法的有用框架，但要复现具体方法需要参考各原始论文的详细实现说明。
论文图表
该表格将代表性路由和级联方法映射到设计空间的三个维度：决策时机（Pre-gen./Post-gen./Multi-stage/Online）、信息源（Query/Model metadata/Response/Feedback）、计算方式（Heuristic/Supervised/Bandit/RL policy）。表格展示了各方法在三维空间中的位置，多重填充的单元格表示方法结合了多种机制。
这是本文的核心贡献之一，提供了统一的分析框架，揭示了方法间的深层联系和结构性空白，是理解本文多维视角的关键。