LLMRouter：面向大模型路由的开发、评估与部署统一基础设施

把各类LLM路由统一为序列决策过程，并配套自动监督构建流水线、多场景基准与开源库

前置知识

LLM 路由（Model Routing）

在多个候选大模型之间为每条查询动态选择执行模型的机制。与固定调用某一个模型不同，路由器根据查询内容、交互历史或用户偏好，预测哪个候选模型对该查询的质量/成本比最优。实现形式多样：可以是冻结句向量上的分类器、kNN 检索投票、Elo 评分、弱-强两级联验证，也可以是用强化学习训练的 agentic 策略。

全文的研究对象就是路由：统一形式化、xRouteBench 基准与开源库都围绕'如何描述、训练和公平比较路由器'展开，不懂路由就无从理解五组件抽象的价值。

序列决策过程（Sequential Decision Process）

把决策建模为状态-动作序列：每步观察状态 $s_t=(q,u,h_t)$（查询、用户上下文、交互历史），从候选池 $\mathcal{M}=\{m_1,\dots,m_K\}$ 中选一个模型派发并把响应追加进历史，或选终止动作 $K$ 聚合出最终答案，形成轨迹 $\tau=(a_1,\dots,a_T)$ 并以轨迹级回报评价。单轮路由是派发一次即终止的特例。

这是论文的核心形式化：单轮、多轮（含 agentic）与个性化三大路由家族被统一为同一决策过程下观测状态的不同子集，理解它才能读懂五组件抽象与 Table 1。

性能-成本加权目标与帕累托支配

用 $\alpha\cdot\mathrm{perf}-\beta\cdot\mathrm{cost}$ 把答案质量与推理花费合成为单一标量，扫描成本权重 $\beta$（从 0 到 0.8 共五档）可得到一系列工作点，构成质量-成本前沿。若一个点在质量和成本两个维度都不劣于另一点，则称其帕累托支配后者。

评测协议与两条关键结论——'路由器排名随 $\beta$ 反转'和'最大模型被学习型路由支配'——都建立在这个加权目标与支配关系上。

嵌入检索与对比学习

把查询和候选模型都表示为向量再计算兼容度：kNN 路由用现成句向量检索最相似的历史查询，并对其选中的模型投票；对比学习（如 RouterDC 的双对比目标）拉近查询与能解决它的模型表示、推远不能解决的，从而学到 query–model 匹配打分。矩阵分解则用双线性积给查询-模型对打分。

这是单轮路由器的主要技术路线，kNNRouter、SVMRouter、MLPRouter、MFRouter、RouterDC、GraphRouter 等基线都属此类，是读懂实验表格的前提。

LLM-as-a-Judge 与成对偏好学习

用强 LLM 按给定人设（persona）比较两个答案并输出胜/平/负（记 1/0.5/0），把开放式任务转化为可计算的偏好标签；个性化路由从这种成对比较中学习，而非逐点正确性标签，因为'哪个答案更好'本身因用户而异。

xRouteBench 个性化轨道的监督与评测完全依赖 persona 条件化的裁判（DeepSeek-V3.1），论文还检验了模拟裁判排名与 Slack 真人偏好是否一致这一关键问题。

研究动机

LLM 生态高度异构：候选模型参数量从 7B 到 671B，输入价格从每百万 token $0.05 到 $1.25，相差约 25 倍，且没有任何单一模型能在所有查询与预算约束下同时最优，于是'为每条查询选最合适的模型'的路由成为省钱提质的关键。但路由研究本身碎片化严重：二值弱-强仲裁器、成本感知级联、图路由、个性化路由、RL 训练的 agentic 路由各自为政——形式化不同、代码库接口互不兼容、监督信号各异、候选池也不同，导致难以判断性能差异究竟来自路由算法本身还是外围实验栈。更麻烦的是，评测路由远比评测单个模型困难：构造监督需要把每个候选模型在每条基准查询上都跑一遍并用任务指标打分，而现有基准（RouterBench、RouterEval）只为固定候选池预计算单轮文本结果，既没有为新任务或新模型池生成监督的流水线，也不计入推理成本，多轮与个性化路由更缺标准化的成本感知评测框架。

本文的目标是本文要为 LLM 路由领域搭建统一地基，包含五个具体目标：第一，给出一个能涵盖单轮、多轮（含 agentic）与个性化路由的统一形式化——把路由表述为带终止动作的序列决策过程，并用五个组件（上下文编码器 $E_q$、模型编码器 $E_m$、打分函数 $g$、决策规则 $d$、学习信号 $\mathcal{L}$）刻画任意路由器；第二，构建自动化流水线，端到端地生成路由监督（稠密的查询×模型性能/成本矩阵）并按统一协议做质量-成本双维度评测；第三，基于流水线构造覆盖通用任务、记忆增强、视觉（图像+视频）、时序与个性化五类场景的基准 xRouteBench（共 4,767 条测试查询）；第四，发布开源库 LLMRouter，内置 16 个以上代表性路由器，使新增路由器只需实现路由方法与损失函数两处代码；第五，在统一协议下开展系统实证研究，产出可操作的选型结论。

与已有工作不同的是，本文的独特之处在于它不提出新的路由算法，而是做基础设施层面的抽象与整合。作者观察到所有看似不同的路由器其实都在解同一个优化问题：策略 $\pi$ 在轨迹 $\tau$ 上最大化 $\mathrm{perf}-\lambda\cdot c$ 的期望回报，差别只在于观测状态的哪些部分、如何编码、如何打分决策、用什么信号学习。抓住这一点后，路由器被压缩为五个可替换组件，'换路由器、换候选池、换训练目标'退化为改配置而非重写代码。第二个独特切入是数据引擎：用稠密 query–model 矩阵同时充当训练监督与评测测试床，一举解决'评测路由器需要全池全查询打分'这一最大工程障碍。第三个差异点是覆盖面：已有基准止步于单轮文本或图文 QA，xRouteBench 把长历史记忆、视频、时序的多模态编码选择、用户偏好都纳入同一协议，并延伸到 Slack 真人偏好收集与多智能体系统逐节点路由这两个真实部署场景。

核心方法

直觉上，无论路由器看起来多不一样——Elo 评分、kNN 检索、级联验证、图神经网络还是微调 LM——它们都在回答同一个问题：给定当前状态，下一步该调用哪个模型（还是停下来聚合答案）。论文因此把路由形式化为序列决策过程：在第 $t$ 步，路由器观测状态 $s_t=(q,u,h_t)$，其中 $q$ 是查询、$u$ 是可选用户上下文、$h_t$ 是累积交互历史；动作 $a_t\in\mathcal{M}\cup\{K\}$ 要么把状态派发给候选池中某个模型并把其响应追加进历史（$h_{t+1}=h_t\oplus y_t$），要么选终止动作 $K$ 聚合出最终答案，优化目标为 $\pi^*=\arg\max_\pi \mathbb{E}_{q,\tau\sim\pi}[\mathrm{perf}(y\mid q)-\lambda\cdot c(\tau)]$。技术路线上，任意路由器由五个组件刻画：上下文编码器 $E_q$（嵌入式或文本式）、模型编码器 $E_m$（静态元数据/历史画像/学习嵌入/文本描述）、打分函数 $g$、决策规则 $d$（greedy argmax、阈值、级联接受-升级、带终止动作）与学习信号 $\mathcal{L}$（非参数、逐点监督、成对偏好、轨迹级 RL）。单轮、多轮、个性化三大家族只是观测状态的子集不同：$(q)$、$(q,h_t)$、$(q,u,h_t)$。工程实现上系统分为六个模块：Data Engine、Router Library、Trainer、Route Engine、Evaluation 与 Deployment。

核心创新不是新算法，而是'五组件接口 + 数据引擎'两层抽象。已有工作中每个路由器都捆绑自己的实验栈：监督怎么造、响应怎么收集、成本怎么算全不相同，导致性能差异无法归因。LLMRouter 把路由器压缩成 MetaRouter 的 route_single（内含 $E_q,E_m,g,d$ 四个组件）与 BaseTrainer 的 loss_func（即学习信号 $\mathcal{L}$）两个实现点，其余数据构造、训练、推理、评测、部署全部是共享基础设施，换路由器、换候选池、换训练目标只需改 YAML 配置。第二层是自动化监督构建：把每条查询发给候选池全部 18 个模型、用任务原生指标打分并按 token 定价，得到稠密的查询×模型性能/成本矩阵，它同时充当训练监督与评测测试床——这正面解决了'评测路由器远比评测单模型难'的根本障碍。第三层是统一协议下的公平比较：测试时查询只发给路由器选中的模型而非全池，所有路由器面对相同查询、相同候选池、相同指标，多轮路由的分解与聚合调用也全部计入轨迹成本。

方法步骤详情

第一步查询整理：从源基准采样、归一化到统一 schema、划分训练/测试。第二步响应收集：候选池在配置文件中声明，每条查询派发给全部 18 个候选模型，记录响应与 token 数。第三步打分定价：用任务原生指标（精确匹配/选择题准确率/token 级 F1/数学答案匹配/代码执行通过率，开放式任务用 LLM 裁判）打分，按每百万 token 价格折算成本，产出稠密 query–model 矩阵。第四步训练：BaseTrainer 以逐点损失、成对损失或轨迹级奖励拟合五组件，非参数路由器（kNN/Elo）跳过训练。第五步推理：Route Engine 对测试查询只调用选中的模型，多轮策略则循环决策直到终止动作再聚合。第六步评测：所有路由器在相同测试集上扫描加权目标 $\alpha\cdot\mathrm{perf}-\beta\cdot\mathrm{cost}$，$(\alpha,\beta)$ 从 $(1.0,0.0)$ 到 $(0.2,0.8)$ 共五档。基准 xRouteBench 共 4,767 条测试查询、五条轨道：Generic LLM Tasks 混合 13 个子任务共 3,729 条（MMLU、GSM8K、MBPP 等）；Memory（LoCoMo 314、LongMemEval 101）用 Contriever 检索 top-5 轮次对、按 F1 评；Vision 含 Geometry3K 61、MathVista 100、Charades-Ego 27，图像经冻结 VLM 转描述；TimeSeries（TSRBench 127）把序列渲染为文本加图表描述；Personalized 从 Chatbot Arena 与 MT-Bench 取 308 条，配 200 个 PersonaHub 人设，由 DeepSeek-V3.1 扮演人设裁判输出胜/平/负（1/0.5/0）。第七步部署：暴露 OpenAI 兼容服务器，经 OpenClaw 接入 Slack/Discord，ComfyUI 画布支持无代码原型，路由记忆跨轮持久化交互历史。

技术新颖性

新颖性体现在四个层面。其一，形式化统一：把二值仲裁、级联、图路由、RL agentic、个性化路由全部写成同一目标（式 1）的不同代理，差异只在 perf 的可观测形式——监督式对每个候选都观测、agentic 只在轨迹末端获得回报、个性化只通过成对比较显现，这一视角是论文独有的分析工具，Table 1 就是它的具象化。其二，工程抽象：新增路由器从'复刻整套实验栈'降为'实现两个函数'（Figure 4 全部代码不到 15 行），且消融（如把用户条件编码器换进任意单轮路由器即可个性化）只需一行改动。其三，基准广度：已有路由基准（RouterBench、RouterEval）停留在单轮文本固定池，视觉路由基准止步图文 QA；xRouteBench 首次把长记忆对话、视频、时序（含模态编码选择）与个性化偏好纳入统一成本感知协议。其四，场景延伸：把路由放进多智能体系统，让每个功能节点（规划者/执行者/摘要者）独立选模型，并打通到 Slack 真人偏好收集的线上部署，这两者在路由文献中均属首次系统研究。

**Figure 1**: Overview of LLM routing. Routing is driven by three needs (left), namely cost efficiency, capability matching, and user preference. Our unified formulation (right) casts all of them as one decision process: a context encoder Eq represents the routing state of query, persona, and interaction history, a model encoder Em represents each candidate, and the router dispatches the query or its sub-queries to selected models and aggregates their responses into the answer. The single-turn, multi-turn, and personalized families differ only in which part of the state they observe.

**Figure 2**: Task composition of xRouteBench. The benchmark covers generic LLM tasks, memory, vision, time-series, and personalized routing, with percentages indicating the proportion of test queries contributed by each dataset.

**Figure 3**: Architecture of LLMRouter. The system consists of six modules that support routing data construction, router implementation and training, inference, evaluation, and deployment.

**Figure 4**: The five components of the routing formulation map onto two classes in LLMRouter. A router subclasses MetaRouter and implements route_single (or route_batch), where the context encoder Eq, model encoder Em, scoring function g, and decision rule d turn a state into a selected model; the learning signal L lives in a BaseTrainer subclass.

**Figure 8**: One example from each dataset in the Visual Reasoning track, shown with the description that Gemma-3-27B-IT produces for its image. Geometry3K (a) provides a geometry diagram, and MathVista (b) provides a scientific figure. Each description is appended to the problem text to form the query the router sees.

**Figure 9**: A multi-view sample from Charades-Ego (Sigurdsson et al., 2018), recorded from a first-person egocentric camera (top) and a third-person exocentric camera (bottom).

**Figure 10**: Ten examples from the 200 PersonaHub personas sampled for preference collection.

实验结果

论文在统一协议下跑出七条主要发现。一，没有路由器全面占优：GraphRouter 平均最佳（45.46）但并非每项第一，RouterDC 在 Generic 最强（80.56）却在 LoCoMo 仅 24.93，强平均来自跨场景一致性而非单项统治。二，学习型路由稳定胜过最强固定模型：Largest-LLM 成本最高但平均仅 38.72 且被帕累托支配，因为许多它答错的题被更小更便宜的模型解出；论文报告学习型路由相对最强固定基线约有 14.6% 的相对提升。三，多轮并不稳定优于单轮：Router-R1 平均 22.30、kNN-MultiRound 23.20、LLM-MultiRound 22.37，远低于单轮的 GraphRouter 45.46 与 SVMRouter 45.10——额外分解/聚合轮次引入冗余与成本，且性能绑死在基座 Qwen2.5-3B-Instruct 的能力上。四，个性化有效且建模方式重要：persona 裁判下 GMTRouter 68.78 > PersonalizedRouter 67.86 > 最佳用户无关的 EloRouter 66.40；但在 Slack 真人数据（15 用户、40 会话、234 成对记录）上 PersonalizedRouter 以 83.05 居首，GMTRouter 掉到第 6（70.70），CausalLM 垫底 27.97。五，成本权重剧烈改写排名：RouterDC 在 Generic 从 $\beta=0$ 的第 1 跌到最成本敏感时的第 10/11，MLPRouter 在 Vision 质量优先时接近垫底、$\beta\ge 0.4$ 后每档最佳。六，预算升高性能上升，但 Largest-LLM 恒被支配，说明路由的收益空间真实存在。七，多智能体逐节点路由有效：五种拓扑（Star/Tree/Graph/Chain/Plan-Exec-Sum）上 7 个学习路由器中 6 个平均超过 Largest-LLM 的 71.48，MFRouter 达 76.48。

**Table 1**: Instantiation of the unified routing formulation for the three router families. For each family, the table specifies the routing state s, the context and model encoders Eq and Em, the routing action defined by the scoring function g and decision rule d, and the learning signal L used to optimize response quality and inference cost.

**Table 2**: Results on xRouteBench under the performance-first setting (α, β) = (1.0, 0.0). Scores are reported across the Generic LLM Tasks, memory, vision, and time-series tracks, together with their average. Following the original implementations where applicable, all multi-turn routers use Qwen2.5-3B-Instruct as the base model.

**Table 3**: Performance comparison on the personalized track. Top two results are highlighted in bold and underline.

**Table 4**: Router performance on held-out real-user sessions collected through the Slack deployment. Accuracy measures how often each router's model selection agrees with the users' pairwise preferences.

**Table 5**: Router performance on the Generic LLM Tasks test split when each node in a multi-agent system is routed independently. Results are reported across five coordination topologies, with the final column showing the average performance.

**Table 6**: The eight test sets of xRouteBench. Sizes are the number of test queries; metrics are exact match (EM), multiple-choice accuracy (MC), token-level F1, execution-based code pass rate, math answer matching, and a persona-conditioned LLM judge.

**Table 7**: Composition of the Generic LLM Tasks track. The table lists the 13 subtasks, their target skills, and the number of test queries, totaling 3,729 examples.

**Table 8**: Built-in routers in LLMRouter, grouped by routing family. For each method, the table summarizes the information available to the routing decision (State) and the rule used to select or aggregate candidate models (Selection).

**Table 9**: The 18 candidate LLMs, sorted by blended average price. Prices in USD per 1M tokens.

**Table 10**: The five multi-agent topologies, their structures, and the number of LLM calls per query.

**Figure 5**: Router rankings across the Generic LLM Tasks, memory, vision, and time-series tracks as the cost weight β increases. Each cell gives a router's rank under the weighted performance–cost objective, with smaller rank values indicating better performance.

**Figure 6**: Performance–cost trade-offs of routers averaged across the xRouteBench tracks. Each point represents an operating setting with a different cost weight β, where higher performance and lower per-query inference cost are preferred.

**Figure 7**: Representative multi-agent system architectures and coordination topologies: (a) star-based centralized coordination, (b) hierarchical tree-based delegation, (c) graph-based peer interaction, (d) sequential chain collaboration, and (e) planner–executor–summarizer workflow.

**Figure 11**: Slack interface for collecting pairwise user preferences. Two anonymized model responses are shown as Answer A and Answer B in randomized order, and users select A, B, or a tie for each interaction turn.

查看结构化数据

任务	指标	本文	基线	提升
xRouteBench 四轨道平均（Generic/Memory/Vision/TimeSeries）	各任务原生指标平均分，性能优先设置 $(\alpha,\beta)=(1.0,0.0)$	GraphRouter 45.46（SVMRouter 45.10 次之）	最强固定模型 Largest-LLM 38.72	平均分 +6.74；论文报告学习型路由相对最强固定基线约 14.6% 的相对提升
Generic LLM Tasks（13 个子任务混合，3,729 条）	EM/选择题准确率/token 级 F1/代码执行通过率	RouterDC 80.56、GraphRouter 80.54	Largest-LLM 70.29，Smallest-LLM 57.55	比最强固定基线高约 10.3 分
个性化轨道（Chatbot Arena + MT-Bench，308 条）	persona 条件化 LLM 裁判（DeepSeek-V3.1）胜/平/负准确率（1/0.5/0）	GMTRouter 68.78，PersonalizedRouter 67.86	最佳用户无关路由器 EloRouter 66.40，Largest-LLM 58.05	对 EloRouter +2.38 分，证实建模用户上下文带来一致收益
Slack 真实用户偏好（15 用户/40 会话/234 成对记录，8 个 held-out 会话）	模型选择与真人成对偏好的一致率	PersonalizedRouter 83.05	Largest-LLM 41.53；persona 赛道冠军 GMTRouter 仅 70.70（第 6）	对 Largest-LLM +41.52 分；同时揭示模拟裁判排名不能完全迁移到真人
多智能体系统逐节点路由（5 种拓扑平均）	最终 MAS 答案的任务指标	MFRouter 76.48	Largest-LLM 71.48	+5.0 分；7 个学习路由器中 6 个超过固定最大模型
多轮 vs 单轮路由（xRouteBench 平均）	四轨道平均分（性能优先）	单轮 GraphRouter 45.46	多轮 Router-R1 22.30、kNN-MultiRound 23.20、LLM-MultiRound 22.37	多轮不升反降约 23 分——本文最重要的反直觉发现

局限与改进

作者承认的局限：多轮路由缺乏充分性估计与早停，多轮分解聚合反而添乱；多轮性能高度依赖基座模型 Qwen2.5-3B-Instruct 的能力；以 persona 裁判选出的个性化路由在真人偏好上排名下降（GMTRouter 从第 1 跌到第 6），模拟与真实之间存在鸿沟；多轮与 RL 路由器无法直接优化加权目标 $\alpha\cdot\mathrm{perf}-\beta\cdot\mathrm{cost}$，只能单配置运行，无法参与 $\beta$ 扫描下的公平比较。我的补充观察：部分测试集过小——Charades-Ego 仅 27 条、Geometry3K 61 条、AIME 13 条——单点分数方差大，排名差异可能不显著；persona 裁判由 DeepSeek-V3.1 扮演，而它本身也是候选模型之一，存在自我偏好与裁判-候选循环的风险；候选池全部是开源权重模型（Together 与 NVIDIA NIM 两家 API），缺少 GPT、Claude 等闭源旗舰，结论向闭源生态外推需谨慎；成本只计 token 价格，未含延迟、排队与批处理折扣；Memory 轨道固定 Contriever top-5 检索，回避了真实长上下文路由的难题；评测是离线静态的，未覆盖在线 bandit 与候选池非平稳更新的场景。

独立分析的弱点

第一，小样本轨道统计功效不足：视频轨道仅 27 条测试，一次排名变动可能只是几个样本的抖动，改进方向是扩充数据或报告 bootstrap 置信区间与显著性检验。第二，裁判与候选同源：用 DeepSeek-V3.1 既当个性化裁判又在候选池中，容易偏爱自己风格的输出，改进方向是多裁判集成、位置与长度去偏，并用真人标签校准。第三，多轮路由的全面失利说明当前的分解-聚合机制与 RL 奖励设计不适合成本敏感场景：Router-R1 平均只有 22.30，改进方向是给轨迹级奖励显式加入成本项、引入充分性预测器决定是否需要第二轮、设计可学习的早停。第四，排名随 $\beta$ 剧烈反转意味着用户难以选型——RouterDC 在 Generic 从第 1 掉到第 10/11——可以做一个元选型器，输入部署预算约束自动推荐工作点或在工作点之间动态切换。第五，真人偏好数据只有 15 个用户、234 对记录且集中于单一 Slack 渠道，不足以支撑个性化结论的强泛化，应扩大用户规模并跨平台收集。第六，时序轨道把图表转成文本再路由、视觉轨道把图像转成描述再路由，绕开了'哪些模型能原生消费多模态输入'这一更有价值的路由维度，未来应支持原生多模态候选与模态选择决策。

未来方向

作者明确指出的方向：为多轮路由引入更好的充分性估计与早停、设计更有效的分解与聚合机制、让多轮/agentic 路由器也能在统一的性能-成本目标下被优化与比较。基于本文成果还可自然延伸：一是在线化——把静态离线路由扩展为 bandit/在线学习，处理新模型上线、旧模型退役导致的候选池漂移，本文的非参数路由器（kNN/Elo）天然适合增量更新；二是把延迟、吞吐、隐私等更多部署约束纳入 $c(\tau)$，做约束优化而非单一价格标量；三是个性化深化——用真实长期用户历史替代模拟 persona，探索联邦式或本地化的用户画像以保护隐私；四是候选池自动化——新模型只需跑少量探针查询即可插入 query–model 矩阵，配合学习到的模型嵌入实现冷启动路由；五是把逐节点路由与多智能体系统的规划训练联合优化，甚至用路由日志（哪些查询只有大模型才赢）反哺小模型定向蒸馏，形成'路由发现短板、蒸馏补短板'的闭环。

复现评估

复现条件相当友好。库与基准开源（论文头部提供项目页与代码链接），路由器通过统一的 MetaRouter/YAML 接口注册；候选池完全由 Together API 与 NVIDIA NIM API 提供，无需本地 GPU 即可复现大多数单轮路由器——kNN、SVM、MLP、MF、Elo 等非参数或轻量模型在 CPU 上几分钟内可训练。主要开销在数据引擎：为 4,767 条测试（外加训练集）查询跑 18 个候选模型，输入价格区间 $0.05–1.25/百万 token，粗估整套 query–model 矩阵构建在数十到数百美元 API 费用量级；Router-R1、CausalLM、LLM-MultiRound 需要微调或频繁调用一个 LM 基座（Qwen2.5-3B-Instruct），需要少量 GPU 或额外 API 预算。Slack 真人研究需自行部署 OpenClaw 服务器并招募用户，复现成本最高但非必须。论文提供了完整提示词模板（附录 F）与路由器/模型价格/拓扑清单（附录 B/C/E），可复现性设计在同类论文中属上游水平。总体难度：单轮部分低，个性化与多轮中等。

LLMRouter：面向大模型路由的开发、评估与部署统一基础设施 LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers