聚类、路由、升级：成本感知的 LLM 服务级联框架 Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving
两阶段级联框架，通过聚类路由和质量估计在保持97-99%准确率的同时降低TPOT延迟
前置知识
Time Per Output Token (TPOT)
每个输出token的生成时间，是衡量LLM推理速度的核心指标。计算方式为总推理时间除以生成的token数量。TPOT越低，模型响应越快。本文将其归一化作为路由决策的成本项，TPOT最小的模型Costnorm=0，最大的Costnorm=1，使超参数λ具有直观的可解释性——即每增加1单位成本所能容忍的错误率增加量。路由公式为Score(m, c) = Error(m, c) + λ·Costnorm(m)，其中Error(m, c)是模型m在簇c上的错误率，Costnorm(m)是归一化的TPOT。
理解TPOT是读懂本文路由算法的基础，整个框架的成本预算B和效率指标η都基于TPOT定义
模型级联
一种按顺序调用多个模型的推理策略，从轻量级模型开始，当输出质量不足时自动升级到更强的模型。与单次路由不同，级联允许在运行时动态决定是否需要更多计算资源。本文的两阶段框架结合了预生成路由和后生成质量估计，形成了完整的级联系统。Stage 1在查询生成前进行簇级路由，Stage 2在生成后进行质量检查和必要升级。
级联是本文的核心思想，理解其与单纯路由的区别才能把握Stage 2 QE cascade的设计动机
帕累托分析
一种多目标优化分析方法，用于识别非支配解。一个模型m被帕累托支配当且仅当存在另一个模型m′，使得TPOT(m′) ≤ TPOT(m)且Error(m′, c) ≤ Error(m, c)对所有簇c成立，且至少有一个严格不等式。被支配的模型永远不会被路由算法选中，可以安全地从候选池中剔除。本文用此自动筛选出有效模型子集，例如在TeleQnA上将四模型池缩减为两个有效模型（Qwen3-4B和Gemma4-26B）。
帕累托分析是Stage 1模型池简化的关键技术，理解其原理能解释为什么四模型池会被缩减到两个
研究动机
在生产环境中部署大语言模型时，操作者通常面临两难选择：要么使用昂贵的强模型来处理所有查询，造成资源浪费；要么使用轻量级模型以降低成本，但在困难查询上性能不足。这种一刀切的策略无法适应查询的难度分布。例如在电信领域，标准配置问题可能只需小型模型，而复杂的故障诊断则需要强大推理能力。同样在数学推理任务AIME中，不同问题的难度差异巨大。现有路由系统如HybridLLM、RouteLLM需要额外的人工偏好标注，而级联方法如FrugalGPT缺乏明确的成本预算控制，且未充分利用后生成质量估计来恢复准确性。
本文的目标是本文的目标是设计一个两阶段级联框架，能够在给定的TPOT预算B下最大化推理准确率。具体而言，Stage 1通过聚类和成本感知路由将查询分配到合适的模型，Stage 2通过质量估计级联处理低置信度输出。整个系统仅需要任务正确性标签（从标准评估中获得），无需额外标注。框架还应能够自动适应模型池的变化，当新模型加入时通过帕累托分析自动更新路由策略，无需人工重新配置。例如在AIME扩展性实验中，加入Qwen3.5-35B后，框架自动将其纳入路由池，并在测试集上达到89.3%准确率，略优于总是使用Qwen3-30B的基线。
与已有工作不同的是，本文的独特切入角度是联合优化显式TPOT预算下的预生成路由和基于任务正确性标签的后生成质量估计。与现有工作相比，本文有三个关键区别：一是通过自动选择λ*来满足显式TPOT预算B，而不是在成本-准确率曲线上扫描λ；二是添加QE级联用于后路由准确率恢复；三是仅使用任务正确性标签而非人类偏好数据或置信度标注。这使得框架既具有可解释性（λ直接对应错误率惩罚），又易于部署（无需额外标注成本）。
核心方法
本文的两阶段级联框架首先在离线阶段计算簇中心和每个簇的路由表，然后在推理时执行快速路由。Stage 1对查询进行语义聚类（使用all-MiniLM-L6-v2编码和k-means），每个聚类根据路由分数Score(m, c) = Error(m, c) + λ·Costnorm(m)分配到最合适的模型。Stage 2是一个轻量级质量估计分类器（基于ModernBERT-base微调），检查高效模型的输出，低质量的查询被升级到强模型。两个阶段协同工作：Stage 1在簇级别预路由困难查询，避免浪费高效模型调用；Stage 2处理簇内失败情况，恢复准确率损失。
核心创新点是联合优化显式成本预算下的聚类路由和后生成质量估计。与RouteLLM需要人类偏好数据不同，本文仅使用任务正确性标签训练QE分类器，大大降低了标注成本。与FrugalGPT的级联策略不同，本文通过Stage 1的簇级路由避免了让所有查询都先经过高效模型，直接将困难聚类分配给强模型。另一个关键创新是自动λ选择：给定TPOT预算B，在训练数据上通过λ* = argmax Acc(λ) | TPOT(λ) ≤ B选择最优超参数，测试时保持不变，使得路由策略可解释且可调优。
方法步骤详情
完整方法包含四个主要步骤。步骤1：查询聚类，使用all-MiniLM-L6-v2将查询编码为嵌入，然后用k-means聚类为N个簇，N通过最大化轮廓系数在[2,10]范围内选择。步骤2：离线路由表计算，对每个模型m和簇c计算错误率Error(m, c)（在训练查询上的实证错误率），然后通过帕累托分析剔除被支配模型。步骤3：λ选择，给定TPOT预算B，在训练数据上扫描λ，选择满足TPOT(λ) ≤ B且最大化Acc(λ)的λ*。步骤4：推理时执行，每个新查询通过一次嵌入查找分配到最近簇，根据路由分数路由到相应模型；如果模型是高效的，其输出经过QE分类器，低质量输出触发升级到强模型。
技术新颖性
技术新颖性体现在三个方面。一是可解释的超参数λ，由于Costnorm在[0,1]范围内，λ直接表示每单位TPOT成本所能容忍的错误率增加量，操作者可以通过调整λ在准确率和延迟之间进行直观权衡。二是完全基于任务正确性标签的监督信号，QE分类器训练标签直接从高效模型在训练查询上的正确性获得，无需额外的人工标注或模型置信度。三是自动适应模型池变化，当新模型加入时，只需在现有训练语料上重新运行帕累托分析和λ选择，路由表自动更新，无需人工干预。这使得框架特别适合模型快速演进的工业环境。
实验结果
在TeleQnA数据集上，四模型池经帕累托分析保留Qwen3-4B和G-26B。给定TPOT预算B=20ms，λ*=0.07，Stage 1在测试集上达到71.2%准确率、19.1ms TPOT。Stage 2的QE分类器平均升级202个查询（51%假阳性率），将C0准确率从68.9%提升到74.0%，整体系统达到74.3%准确率、23.8ms TPOT。相比Always G-26B基线（76.4%准确率、24.5ms TPOT），损失2.1%准确率但快0.7ms。在AIME 2024上，双模型池给定B=20ms，λ*=0.06，Stage 1达到86.4%准确率、9.5ms TPOT。Stage 2平均升级0.6个查询，将C1准确率从90.0%提升到96%，整体达到88.4%准确率、9.7ms TPOT。相比Always Qwen3-30B（89.1%准确率、11.8ms TPOT），损失0.7%准确率但快18%。扩展性实验显示，加入Qwen3.5-35B后，三模型配置达到89.3%准确率、11.0ms TPOT，优于两模型配置和Always Qwen3-30B基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TeleQnA电信问答 | 准确率 / TPOT(ms) | 74.3% / 23.8ms (Stage 1+2, λ=0.07) | 76.4% / 24.5ms (Always G-26B) | 损失2.1%准确率，快0.7ms |
| AIME 2024数学推理 | 准确率 / TPOT(ms) | 88.4% / 9.7ms (Stage 1+2, λ=0.06) | 89.1% / 11.8ms (Always Qwen3-30B) | 损失0.7%准确率，快18% |
局限与改进
作者承认了几个局限性。首先，簇中心和路由表是离线计算的，无法在推理时适应查询分布变化，更新需要收集新的任务正确性标签并重新运行流水线。其次，TPOT作为主要服务效率指标有局限性，它只捕获了解码速度，不包括排队、预填充、首字时间（TTFT）、网络开销、批处理效果或负载下的端到端延迟。第三，框架为每个数据集分配单一推理模式，但在某些域中只有部分查询需要扩展链式思维推理，输出长度在同一簇内差异很大，此时TPOT作为延迟代理可能不完整。第四，TPOT测量特定于2×A100 SXM 80GB设置，在H100上使用完整W8A8 FP8支持时，大模型吞吐量可能提升约1.6倍，会改变帕累托前沿和最优λ选择。最后，框架要求所有候选模型同时驻留在GPU内存中，在显存受限的部署中，可寻址的模型池必须限制为更少或更小的模型。
独立分析的弱点
独立分析来看，本文有几个可以改进的弱点。一是QE分类器的假阳性率较高（TeleQnA上51%），导致不必要的升级，浪费计算资源。改进方向可以是使用更多训练数据或升级到ModernBERT-large。二是聚类阶段使用静态的k-means，无法捕获查询难度的时间演变或新兴模式。可以考虑使用在线聚类算法或定期更新簇中心。三是TPOT指标未考虑批处理效应，在实际高并发场景下，不同模型的吞吐量特性可能与单查询TPOT不同。建议增加请求吞吐量作为额外效率指标。四是框架要求所有模型同时加载，在资源受限环境中不可行。可以研究模型压缩、动态加载或分布式推理技术。五是λ在离线选定后保持不变，无法适应查询分布的实时变化。可以设计在线自适应机制，根据最近的查询质量反馈动态调整λ。
未来方向
作者提出的未来工作包括将QE级联扩展到多类决策（接受、升级或请求额外推理），λ对查询分布偏移的在线自适应，以及纳入额外的效率指标。基于本文成果，可以延伸出多个有趣方向。一是动态推理路径，利用λ表提供的自然升级顺序设计更复杂的多级级联策略。二是多模态扩展，将框架应用于视觉-语言模型池，路由基于查询的视觉复杂性。三是跨组织联邦学习，多个机构共享路由策略而不暴露原始数据。四是实时自适应簇，结合在线学习和聚类，让系统随查询分布演变自动调整。五是成本感知的推理链扩展，不仅选择模型，还动态调整推理长度（如链式思维步数）。六是领域自适应的QE训练，针对不同领域训练专门的质量估计器以提高分类准确率。
复现评估
论文的复现难度中等。实验使用了公开可用的模型（Qwen3、Qwen3.5、Gemma4家族）和数据集（TeleQnA、AIME 1983-2023训练集、AIME 2024测试集）。推理设置使用vLLM在2×A100 SXM 80GB GPU上，最大并发32，种子0以保证可重复性。采样参数明确指定（AIME温度0.6、top-p 0.95、top-k 20、min-p 0；TeleQnA温度0.7、top-p 0.8、top-k 20、min-p 0）。所有实验在5次运行上平均准确率和TPOT以处理LLM的非确定性。QE分类器使用ModernBERT-base，超参数详细（AdamW、batch size 64、学习率5e-5 for AIME/2e-5 for TeleQnA、最多10个epoch、patience 4、early stopping by macro-F1）。但论文未声明是否开源代码和预训练模型，也未提供训练好的路由表和簇中心，这对完全复现造成障碍。整体而言，给定模型和数据集，复现主要结果可行，但需要相当的GPU资源和计算时间。
论文图表
