预训练一次，随处路由：迈向大语言模型路由的基础模型 Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing
跨异构环境情节式预训练出的冻结路由器，仅凭行为上下文即可适应新领域、新模型与新模态
前置知识
LLM 路由（LLM Routing）
在推理时把每个用户查询动态分配给候选池中最合适的大模型，以在响应质量、推理成本和延迟之间取得比单一模型更好的权衡。路由器通常从查询-模型性能观测中学习一个打分函数，预测每个候选在给定查询上的表现，再选最优者。
本文的全部出发点就是现有路由器训练范式的缺陷，理解路由任务本身是读懂其动机、方法与实验设计的前提。
局部拟合（Local Fitting）
论文对现有范式的命名：路由器在某个特定查询分布和候选模型池内收集监督数据并优化参数，得到环境特定映射 $f_{\theta_{E_r}}: q \to m$。一旦领域、模态或候选池变化，就必须重新收集行为观测并重新训练。
这是论文批判的靶子，也是所有对比基线的共同设定；理解它才能理解 RouteFM 主张的『可复用路由能力』新在哪里。
行为上下文（Behavioral Context）
候选模型在若干历史查询上的观测记录 $B_m=\{(e_i, y_{m,i}, \tilde c_{m,i})\}$：冻结的查询嵌入、观测质量（$[0,1]$）和回合内归一化的相对成本。RouteFM 完全依赖行为上下文刻画匿名候选，不使用模型名、提供商或参数量等身份特征。
它是 RouteFM 唯一的候选信息来源，也是部署时『免重训适应』的载体，方法的输入输出与所有实验协议都围绕它展开。
情节式预训练与元学习视角
把训练数据组织成一个个『情节』（episode）：每次采样一个任务、6–24 个匿名候选、16–32 个与行为上下文不相交的目标查询，每候选观测数 $K$ 在 8 到 1024 间随机变化，候选顺序随机打乱。模型在不同情节间反复经历『从少量行为证据推断能力并比较候选』的过程，类似『学会学习』。
这是 RouteFM 能跨环境泛化的训练机制，论文核心主张——路由是可复用能力而非环境特定策略——就建立在它之上。
置换等变与 Perceiver 式潜变量压缩
置换等变指打乱输入元素顺序时输出做同样打乱：候选池比较的 Transformer 不加位置编码，因此对候选排列等变。Perceiver 式压缩指用少量可学习潜变量 token（此处 24 个）通过交叉注意力把变长观测序列压成固定长度表示，计算量与输入长度解耦。
候选池大小可变、观测数可变是路由部署的现实约束，这两个设计是 RouteFM 支持任意池组成与上下文预算的架构基础。
逐点回归 + 成对排序 + 路由后悔
本文的三类训练信号：Smooth L1 逐点回归保证预测值准确；成对排序损失保持候选间相对次序；路由后悔 $\mathcal{L}_{\text{regret}}=\frac{1}{|Q|}\sum_t[\max_m y_{t,m}-\sum_m \pi_{t,m}y_{t,m}]$（$\pi$ 为预测质量的 softmax 软路由分布）直接惩罚软路由期望质量与最优质量之间的差距。
数值预测准不等于路由选得对，regret 目标是方法的关键部件，也是理解其训练目标设计与三阶段课程的必要背景。
研究动机
LLM 路由的目标是在能力、成本、延迟各异的候选模型池中为每个查询挑选最合适的模型，从而获得比单一模型更好的质量-效率权衡。但现有路由器（如 RouterBench、RouterEval 上评测的各类方法）几乎都遵循论文所称的『局部拟合』范式：在某个特定查询负载与候选池内收集查询-模型性能观测，训练出环境特定的映射 $f_{\theta_{E_r}}: q \to m$。问题在于路由环境天然动态：新领域和新模态不断出现（例如多模态路由基准 MMR-Bench），候选池也随新模型上线、旧模型替换而持续演化。一旦查询分布 $\mathcal{D}$ 或候选池 $\mathcal{M}$ 变化，局部拟合的路由器无法直接迁移——把纯文本任务上训好的路由器用到多模态查询上，或向池中添加一个刚发布的新模型，都需要重新收集行为观测并再次优化参数。这种反复『拟合-重拟合』既抬高维护成本，也让路由器沦为一次性资产，无法跨环境复用。
本文的目标是论文目标是把 LLM 路由从逐环境局部拟合提升为基础模型范式：训练单一共享路由器，用同一组参数 $\theta$ 实现条件映射 $f_\theta(q \mid E_r) \to m_r^*$，对所有环境 $E_r$ 通用，『适应』通过以环境为条件的上下文推断完成而非重新训练参数。具体验收标准包括：(1) 在预训练覆盖的任务上（RouterEval 域内）达到并超过环境特定的最强基线；(2) 参数完全冻结、零目标域标注的情况下迁移到预训练未包含的多模态环境 MMR-Bench（7 个数据集、10,370 条查询、9 个候选模型）；(3) 新模型上线时仅凭每候选 8 条行为观测即可纳入路由；(4) 行为上下文预算从 1024 压缩到 8 时仍保持竞争力。最终愿景即标题所称的『预训练一次，随处路由』：路由成为可复用基础设施，而非每个部署重复训练的策略。
与已有工作不同的是，独特切入在于对『什么可以跨环境迁移』的判断。论文把路由形式化为目标条件排序问题，并论证可复用的不是『哪个模型在哪些查询上好』的环境知识，而是『从行为证据中识别与目标相关的信息并据此比较候选』的通用比较能力。已有放宽局部拟合假设的工作都只在单一环境内改进某个环节：IRT-Router 用项目反应理论显式建模模型能力与查询特性来改善冷启动；ICL-Router 从上下文性能观测导出模型表示以纳入未见模型；检索式 few-shot 路由用少量历史记录估计候选表现——它们仍需为每个环境训练或配置。RouteFM 则把路由本身当作基础模型问题：跨异构环境做全局路由预训练，部署时冻结参数、纯靠上下文推断匿名候选能力，且从不向模型暴露任何身份特征（名称、提供商、参数量），候选间差异完全来自观测到的行为。
核心方法
直觉上，不同路由环境虽然查询分布和候选池不同，却共享同一决策结构：从历史行为推断各候选能力、找出与目标查询相关的证据、据此比较候选。RouteFM（12.78M 可训练参数，不含冻结的嵌入编码器）把这个过程实现为可学习的前馈计算图。输入是目标查询嵌入 $e_t \in \mathbb{R}^{4096}$（冻结的 Qwen3-VL 嵌入）与每个匿名候选的行为上下文 $B_m=\{(e_i, y_{m,i}, \tilde c_{m,i})\}_{i=1}^{K_m}$，其中 $y\in[0,1]$ 为观测质量、$\tilde c\in[0,1]$ 为回合内归一化的相对成本。流程分四步：先把每条观测编码为一个 token；再用 24 个可学习能力 token 通过 4 层 profiling 块交叉注意力，把变长观测序列压缩为固定长度的能力画像 $C_m\in\mathbb{R}^{24\times256}$；目标查询并行从画像（全局概览）与原始观测序列（细粒度证据）两条分支检索信息，残差融合；最后所有候选表示一起送入 3 层无位置编码的 Transformer 在候选维度联合比较，输出目标特定质量 $\hat y_{t,m}$ 与相对成本 $\hat c_{t,m}$，路由决策为 $m^*=\arg\max_m(\hat y_m - \lambda \hat c_m)$，$\lambda$ 可在部署时按偏好调节而无需重训。
核心创新是『匿名候选 + 行为上下文条件化 + 情节式全局预训练』的组合。第一，彻底匿名化：模型名、提供商、参数量、持久 ID 嵌入一律不输入模型，候选间表示差异只能来自观测到的 (查询, 质量, 成本) 历史，因此新模型天然即插即用，无需为新模型学任何参数。第二，情节式预训练：每个 episode 从单一任务采样 6–24 个匿名候选、16–32 个与上下文不相交的目标查询，每候选观测预算 $K\in\{8,16,32,64,128,256,512,1024\}$ 随机变化，候选顺序逐 episode 打乱；这迫使模型学习跨环境不变的目标条件比较能力，而非绑定特定模型或部署的策略——与元学习『学会学习』同构，但用在路由上。第三，双分支证据检索：压缩画像提供候选全局行为的总结，原始观测分支保留画像压缩时丢失的细粒度证据，二者互补；候选池维度上无位置编码的 Transformer 保证比较对候选排列置换等变。与已有方法的本质区别在于：适应完全通过上下文完成，路由器本身冻结。
方法步骤详情
完整流程如下。第 1 步行为观测编码：查询嵌入经投影 $P(e)=W_2\,\text{Dropout}(\text{GELU}(W_1\text{LN}(e)+b_1))+b_2$（中间维 512、输出维 256），质量与成本标量分别经 $1\to256\to256$ 的 MLP 得到 $s_{m,i}, r_{m,i}$；再用逐元素交互 $h_{m,i}=W_I[q_{m,i}\odot s_{m,i};\, q_{m,i}\odot r_{m,i}]+b_I$ 显式建模『同一分数在不同语义查询上含义不同』，$b_{m,i}=q+s+r+h$ 经 FFN 得到观测 token，堆成 $O_m\in\mathbb{R}^{K_m\times256}$。第 2 步能力画像构建：24 个共享可学习 token 作为 $C_m^{(0)}$，经 4 层 profiling 块（每块先对 $O_m$ 交叉注意力、再自注意力加 FFN，8 头、FFN 宽 1024）得到 $C_m\in\mathbb{R}^{24\times256}$，无预定义技能类别，端到端由路由监督塑造。第 3 步目标条件检索：$z_t=P(e_t)$ 分别作为查询，经各 2 层残差交叉注意力从 $C_m$ 与 $O_m$ 检索得 $z^p_{t,m}$ 与 $z^c_{t,m}$。第 4 步残差融合：$z_{t,m}=z^p_{t,m}+\alpha(z^c_{t,m}-z_t)$，$\alpha$ 为共享可学习标量（初始化 0.1），只保留上下文分支的增量证据，避免目标残差重复相加。第 5 步候选池比较：$H_t^{(0)}=[z_{t,1},\dots,z_{t,M}]$ 经 3 层无位置编码 Transformer（置换等变，无效候选掩蔽）。第 6 步预测与决策：$\hat y_{t,m}=\sigma(g_y(H_{t,m}))$、$\hat c_{t,m}=\sigma(g_c(H_{t,m}))$，按 $m^*=\arg\max_m(\hat y_m-\lambda\hat c_m)$ 路由。第 7 步预训练：损失 $\mathcal{L}_v=\mathcal{L}^{v}_{\text{point}}+\beta_v\mathcal{L}^{v}_{\text{pair}}$（Smooth L1，β=0.05；成对温度 0.05/0.1），$\mathcal{L}_{\text{base}}=\mathcal{L}_{\text{point}}+0.5\mathcal{L}^{\text{rank}}_y+0.1\mathcal{L}^{\text{rank}}_c$，加路由后悔项（软路由分布温度 0.1），总目标 $\mathcal{L}=\mathcal{L}_{\text{base}}+\lambda_r\mathcal{L}_{\text{regret}}$；三阶段课程中 $\lambda_r=0/0.15/0.25$，AdamW、学习率 $10^{-4}$、有效批 16、共 10,000 步。
技术新颖性
新颖性可从三个层面分析。范式层面：已有工作把路由器当作每个部署的专用策略，本文首次把路由本身当作基础模型预训练问题，主张可迁移的是『目标条件比较能力』，并用跨环境冻结部署验证了这一主张——同类泛化工作（IRT-Router、ICL-Router、few-shot 检索路由）都只在单环境内改进适应环节，没有跨异构环境的统一参数。架构层面：行为编码中的查询-结果交互项 $q\odot s$、$q\odot r$ 比『把质量/成本当作与查询无关的模型属性』更符合证据结构；Perceiver 式 24-token 画像优雅地解决了变长观测问题；画像（全局）与原始上下文（局部）双分支互补检索以及无位置编码的候选维比较是新的组合设计。训练层面：路由后悔目标直接优化软路由期望质量与最优质量之差，弥补『数值准但选不对』的错位；三阶段课程从大上下文渐进到部署规模的小上下文、regret 权重 0→0.15→0.25，与『低上下文是主要卖点』的定位呼应。整个模型仅 12.78M 参数、从随机初始化训练，无需依赖 LLM 本体。
实验结果
主实验覆盖四类设置。域内路由（RouterEval 留出查询、4 候选池）：RouteFM 在 $K\in\{8,16,32,64\}$ 全部最优，$K=8$ 时 0.6192 对最强基线 Embedding-Ridge 的 0.6108，领先 0.84 分；$K=64$ 时 0.6611，优势随观测增多收窄，说明其强项是用稀疏行为证据决策。跨模态迁移（MMR-Bench，预训练明确排除）：全部 $K$ 下最优，$K=8$ 时 0.7323 对最强非 RouteFM 基线 EmbedLLM 的 0.7100，领先 2.23 分；大观测（40% 数据作上下文）时 0.7614，仅领先 UniRoute 0.07 分——分布偏移更大时低上下文优势反而更突出。架构消融（Table 2a）：去掉候选池 Transformer 伤害最大，$K=8$ 降 1.33 分至 0.7190，验证『路由是相对决策』；去掉目标到上下文注意力降至 0.7266；Qwen3-VL 换成 BGE 文本编码器降至 0.7308。预训练消融（Table 2b，20% 标注支持集协议）：同架构从零训练仅 0.7415（$K=8$），比冻结 RouteFM 的 0.7523 低 1.08 分；预训练+微调只在部分 $K$ 有边际增益，说明可迁移能力主要在预训练期获得。部署适应（Figure 3）：新候选仅 8 条观测即超过所有重拟合基线，16 条时扩展池反超原池；匹配 kNN/MLP/EmbedLLM 全上下文性能只需 1%/3%/26% 的观测。数据组成消融（Table A3）：去掉 LLMRouterBench 使 $K=8$ 迁移掉 4.09 分，MixInstruct-heavy 混合也明显退化。质量-成本曲线（Figure A1）：调节 $\lambda$ 可获得优于最强单模型的操作点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 域内路由（RouterEval 留出查询，4 候选匿名池） | 路由质量（被选模型的平均实际质量） | 0.6192（K=8）/ 0.6433（K=16）/ 0.6627（K=32）/ 0.6611（K=64） | 最强基线 Embedding-Ridge：0.6108（K=8） | K=8 时 +0.84 分；全部预算下第一，但优势随观测增多收窄 |
| 跨模态迁移（MMR-Bench，预训练排除；7 数据集 10,370 查询、9 候选模型） | 路由质量 | 0.7323（K=8）/ 0.7457（K=16）/ 0.7487（K=32）/ 0.7504（K=64）；大观测 regime 0.7614 | 最强非 RouteFM 基线 EmbedLLM：0.7100（K=8）；大观测最强基线 UniRoute 0.7607 | K=8 时 +2.23 分；K=64 时 +0.64 分；大观测 regime 仅 +0.07 分 |
| 新模型纳入（MMR-Bench 9 个候选逐个作为新模型，其余 8 个各 64 条观测） | 扩展池路由质量（随新候选观测数 K_new 变化） | 新候选 8 条观测即超过所有重拟合基线；16 条观测时扩展池超过原 8 模型池 | Weighted kNN / MLP / EmbedLLM / RM-Softmax / TRouter 等需重拟合的方法 | 同等证据下全程领先，且 RouteFM 无任何参数更新 |
| 上下文预算效率（MMR-Bench 密集上下文协议，40% 上下文为 100% 预算） | 匹配基线全上下文质量所需的最小观测比例 | 匹配 Weighted kNN 需 1%、MLP 需 3%、EmbedLLM 需 26% | 各基线使用 100% 可用上下文的性能 | 相对弱基线最高节省 99% 的行为观测 |
局限与改进
作者承认的局限：成本信号在四个数据源间异构（RouterBench 甚至只有参数量可作成本代理），因此成本被处理成回合内相对量，预测的 $\hat c$ 不能跨回合解释为绝对价格或延迟；新模型纳入实验中 $K_{\text{new}}=0/1$ 只是冷启动压力测试，不能作为可靠零样本纳入的证据；基线 ICL-Router 在 MMR-Bench 上只能用纯文本查询、无法利用图像。我自己的观察：其一，『免重训』并未消除数据成本——部署新领域仍需对每个候选真实跑 $K$ 条查询来构建行为上下文，成本只是从训练转移到数据收集；其二，方法对查询嵌入质量隐式依赖很重（换 BGE 编码器后各预算下降 0.15–0.75 分），嵌入模型的能力边界成为路由上限；其三，实验中候选池最多 24 个（预训练）/9 个（MMR-Bench），与真实 API 市场动辄上百模型尚有距离；其四，大观测 regime 下优势仅 0.07 分，说明贡献主要是观测效率而非质量上限；其五，平均质量目标忽略了用户偏好多样性，回合内相对成本也无法表达真实预算约束（美元/延迟 SLO）。
独立分析的弱点
独立分析四个具体弱点。第一，行为上下文获取是隐性瓶颈：新领域上线时每个候选都要消耗真实推理预算跑探测查询，冷启动（新模型、新模态）下前几条观测噪声大、信息量低。改进方向是主动探针选择——用 RouteFM 的预测不确定性挑选最有区分度的查询，或用合成探针/模型卡先验做贝叶斯式能力初始化。第二，静态快照假设：候选行为会被模型版本更新悄悄改变，画像会过期，论文没有处理行为漂移。改进方向是画像 token 的轻量在线更新或漂移检测触发的重剖析。第三，候选维度自注意力为 $O(M^2)$，预训练上限 24 个候选，扩展到上百模型的服务市场时需要层次化剪枝或检索式候选筛选来控制比较成本。第四，成本与偏好建模粗糙：回合内相对归一化丢失绝对量纲，无法表达延迟 SLO 与预算硬约束；单一平均质量目标也无法反映偏好异质性（作者团队的 RouteJudge 工作正指出这一点）。改进方向是把延迟、可用性、资源约束编码为额外条件 token，或做偏好条件化路由。此外，方法对查询嵌入的强依赖意味着跨语言、超长文档等嵌入薄弱场景可能失效，值得专项评测。
未来方向
作者在附录 G 提出三个方向：一是把路由预训练扩展到更大规模——任务、模型族、模态、部署环境更多样，并研究随环境多样性与覆盖度的 scaling 行为；二是引入更丰富的部署上下文，把延迟、可用性、资源约束等系统级信号纳入统一决策接口；三是从静态环境走向持续演化系统，让模型在保留可复用预训练能力的同时持续解读新证据。基于本文成果还可延伸：其一，把『探测查询选择』与路由联合优化，形成主动路由基础模型，直接压低冷启动成本；其二，与 agent 工作流结合做子任务级路由，让一个多步任务中不同步骤路由到不同模型；其三，理论层面刻画路由能力跨环境可迁移的条件，例如候选行为在嵌入空间中的低秩结构何时成立；其四，把学到的能力画像用于模型审计与可解释能力图谱构建；其五，在偏好异质评估（如 RouteJudge）上检验 RouteFM，探索偏好条件化的路由基础模型。
复现评估
复现条件相当好。代码开源于 GitHub（LAMDA-Model-Reuse/RouteFM），提供模型架构、预训练流水线、MMR-Bench 评测脚本、固定 split 定义与自定义匿名候选池评测工具；模型 checkpoint 发布在 HuggingFace（AIGNLAI/RouteFM）。模型本身只有 12.78M 可训练参数（不含冻结的 Qwen3-VL 嵌入编码器），论文的延迟测量就在单张 NVIDIA A100 上完成（3 次预热、20 次计时重复），训练只需 10,000 步 AdamW、有效批 16、混合精度，单卡工作站即可承担。数据全部来自公开基准：LLMRouterBench、RouterBench、RouterEval、MixInstruct，合计 212,470 个查询-任务实例与 1,727,809 条查询-模型观测；附录 B 给出完整的 episode 构造（6–24 候选、16–32 目标、$K\in\{8,\dots,1024\}$、dense/sparse 布局按 4:3 采样、natural/opportunity/boundary 目标 regime 按 65:20:15）与三阶段课程表。主要风险在于路由数据预处理链条较长（回合内成本归一化、缺失成本补零等约定），且十个基线的对照依赖统一复现框架 ORBIT 与若干 2025–2026 年新方法的实现；若只想复用 RouteFM 本身做路由，门槛很低。总体复现难度：中等偏低。
论文图表
左侧是 N 个异构路由环境（各自的任务分布与候选池），传统方法为每个环境单独拟合路由器；中部是 RouteFM 的全局路由预训练，跨环境学习单一基础路由器；右侧是部署阶段，面对新领域、变化的模型池、新模态与可变上下文规模，冻结的路由器仅靠上下文适应，无需任何重训练。
一图概括论文的核心范式转变——从逐环境局部拟合到『预训练一次、随处路由』，是理解全文动机与定位的起点。
10 个基线（Weighted kNN、MLP、Embedding-Ridge、EmbedLLM、RM-Softmax、TRouter、InferenceDynamics、UniRoute、ICL-Router、Context-Mean）与 RouteFM 在 RouterEval 域内（K=8–64）与 MMR-Bench 跨模态（K=8–64 及大观测）的路由质量对比。RouteFM 在所有设置下均为最优：域内 K=8 领先 0.84 分（0.6192 vs 0.6108），MMR-Bench K=8 领先 2.23 分（0.7323 vs 0.7100），大观测 regime 仅领先 0.07 分（0.7614 vs 0.7607）。
主结果表：直接体现『优势集中在低上下文 regime、观测效率高』的核心结论，也是所有定量声明的出处。
相同 160K episode 预算下改变源采样分布：默认混合（45/25/25/5）最好（K=8 为 0.7323）；去掉 LLMRouterBench 退化最重（K=8 降至 0.6914，−4.09 分；K=64 −2.09 分），去掉 RouterBench 降至 0.7156；Uniform、MixInstruct-heavy、Validation-matched 变体均在低上下文区更弱。
揭示异构路由环境的多样性与平衡性对迁移能力的决定性影响，是『全局预训练』叙事在数据侧的关键证据，也暗示 scaling 路由预训练时数据配方的重要性。