SeLMRoute：基于概率化语义证据的大语言模型路由 SeLMRoute: Probabilistic Semantic Evidence for Large Language Model Routing
用16个可解释探针的概率语义状态表征查询，再学习候选模型性能并按目标路由
前置知识
LLM 路由（Model Routing）
给定用户查询和 $K$ 个候选大语言模型，路由器作为策略 $r:\mathcal{X}\to\mathcal{M}$ 为每个查询挑选一个模型执行。与混合专家（MoE）内部的 token 级门控不同，LLM 路由把完整模型视为黑盒候选，这些候选可以有不同的架构、训练数据、专长、上下文限制与价格。性能导向路由最大化预测得分，成本感知路由则在质量与推理费用之间权衡。
本文全部实验都在这一设定下进行：用 LLMRouterBench 的 AvgAcc、Gain@R、Gain@B、Gap@O 等指标衡量路由策略相对随机路由、最强固定模型和实例级 Oracle 的位置，理解这套指标才能读懂结果表。
概率单纯形与概率质量
概率单纯形 $\Delta_{n-1}=\{p\in\mathbb{R}^n: p_i\ge 0, \sum_i p_i=1\}$ 是所有合法概率分布构成的集合。让一个判断输出整个分布（概率质量）而非仅取最大概率的类别，意味着保留第二可能、分布弥散程度等信息：二值判断贡献 1 维，四级评级判断贡献 4 维。
SeLMRoute 的核心表征就是把 16 个语义判断的概率质量拼接成 40 维向量（$8+8\times4=40$），论文用专门实验对比了保留概率质量、压缩为硬判定、扩展为 88 维完整表征三种选择，这是理解其表征消融的前提。
梯度提升回归与 CatBoost
梯度提升树按阶段训练决策树，每棵新树拟合当前集成的负梯度残差，能自然建模特征间的非线性交互而无需特征工程。CatBoost 是其工程化实现，采用有序提升缓解目标泄漏，支持多输出回归，对表格型小数据非常高效。
SeLMRoute 用一个多输出 CatBoost 把 40 维语义状态映射到 $K$ 个候选模型的预测得分 $\hat{y}$；论文 Figure 3 显示 CatBoost（72.08）优于随机森林、MLP、Ridge 和 OLS，说明语义特征与模型性能之间存在非线性交互。
归一化语义熵
对判断 $j$ 的概率分布 $p_j$，熵按 $H_j(x)=-\sum_{k=1}^{L_j} p_{jk}\log p_{jk}/\log L_j$ 归一化到 $[0,1]$：数值接近 0 表示判断集中而确定，接近 1 表示分布弥散、抽取器对查询的语义定性不确定。
语义熵既是 Full 表征中的派生统计量，也被用作查询级不确定性信号：论文 4.10 节用它的 AURC（0.0901）对比下游路由器置信 margin（0.0974），并测试了基于固定熵阈值的选择性路由能否跨域迁移。
分组交叉验证与 OOF 预测
当数据集中存在重复查询时，随机划分会让同一条查询同时出现在训练与测试两侧，造成数据泄漏和过于乐观的评估。分组协议以（数据集，规范化查询文本）为组键，保证同组实例永远落在同一分区；五折分组 OOF（out-of-fold）则让每个实例都获得一个来自未见其组的模型的预测。
LLMRouterBench 中 11,481 条实例对应 11,423 个唯一组、47 个重复组。论文的主表、全部配对统计检验和探针消融都建立在分组 70/30 五种子划分与分组五折 OOF 之上，这是其结论可信度的关键保障。
Bootstrap 置信区间与置换检验
Bootstrap 在每个数据集内按查询组重采样并重算两方法 AvgAcc 之差，得到 95% 置信区间；双侧配对置换检验随机反转配对差异的符号两万次，检验观测差异是否可由偶然产生。两者均保持重复查询的分组结构，避免把相同输入当作独立观测。
论文对「概率质量是否优于硬判定」（p=0.1099，不显著）与「JEV 是否优于 Laya」（p=0.00035，显著）给出截然不同的结论强度，完全依赖这套统计流程；读懂它才能分清哪些主张已被确证、哪些只是点估计。
研究动机
大模型在数学推理、代码、事实知识、指令遵循和情感任务上的能力差异很大，同规模模型之间也因数据与训练目标不同而表现分化，因此部署系统必须决定每个请求交给哪个模型。现有路由器从查询嵌入、模型表示、偏好数据或相似聚类直接学习决策规则，但用于路由的表征很少说明查询实际需要什么。稠密嵌入度量的是语义相似性而非任务需求：例如「实现一个 Python 配置解析器，需保留注释、拒绝重复键、报告错误行号并兼容现有 API」这条请求会被嵌入并标记为 code，但路由真正需要知道的是它需要代码推理、高精确度、多约束整合、低歧义、且不依赖外部事实。第二个问题是硬判定丢弃不确定性：当「分解需求」介于中等与高等之间时，取 argmax 就把有价值的信息在路由学习之前扔掉了。统一评测 LLMRouterBench 进一步发现领先路由器性能几乎相同（Avengers 71.94、MODEL-SAT 71.88、EmbedLLM 71.24、GraphRouter 70.29），且都远离实例级 Oracle，提示它们可能都在捕捉粗粒度的数据集级规律，查询表征这一层值得重新设计。
本文的目标是本文要构建一个把三件事解耦的路由框架：查询需要什么（与候选池无关的语义证据）、候选模型在这类需求下的历史表现（性能学习）、部署方想优化什么（路由目标）。具体目标有五：（1）显式概率语义状态能否达到与已发表 SOTA 路由器相当的精度（RQ1）；（2）语义证据的表征方式——概率质量、完整派生统计、硬判定、稠密嵌入、词法特征、域标签——如何影响路由性能（RQ2）；（3）先做语义分析再学性能映射的架构是否优于让决策模型直接选择模型（RQ3）；（4）语义状态能否跨数据集、跨任务域、跨决策模型、在精简探针集下迁移（RQ4）；（5）同一个语义表征能否在不改抽取器的情况下支持成本感知路由（RQ5）。
与已有工作不同的是，本文的独特切入是反转表征的哲学：不是把查询表征当作要学习的量，而是先验声明每一维的含义——用 16 个人类可读的类型化问题（8 个 Noul 二值判断加 8 个四级 Score 评级）逐条询问查询的推理类型、知识需求、任务结构、歧义、精确度等，并保留决策模型返回的完整概率分布。与 RouterDC、EmbedLLM 的对比学习嵌入和 GraphRouter 的异构图不同，SeLMRoute 的 40 维特征不含任何候选身份，新增模型无需重新抽取已有查询的语义向量；与 IRT-Router、RADAR 把查询属性和模型能力绑进同一个 item-response 公式不同，它先独立构建语义信念状态，再把「语义状态到候选得分」的映射完全交给历史数据学习。概率分布还保留了抽取器表达的不确定性，让下游学习器无需从稠密文本向量中反推不确定性。
核心方法
直觉上，SeLMRoute 像一个分诊台：先让决策模型用一组固定问题给查询做「体检」——需不需要数学推理？代码推理？约束多不多？精确度要求高不高？时效信息重不重要？——每个判断都带概率而非武断结论；再用历史路由数据学习「当查询呈现这种语义画像时，各候选模型通常得多少分」；最后按部署目标在候选中取 argmax。技术上，流水线分解为 $x\xrightarrow{S}s(x)\xrightarrow{F_\theta}\hat{y}(x)\xrightarrow{R_\omega}r(x)$（公式 2）：$S$ 是由类型化决策模型驱动的语义抽取器，$F_\theta$ 是多输出 CatBoost 性能回归器，$R_\omega$ 是可配置路由目标，可以是纯质量的 $r_{quality}(x)=\arg\max_m \hat{y}_m(x)$，也可以是质量-成本效用 $U_m=(1-\lambda)\tilde{y}_m-\lambda\tilde{c}_m$。关键设计性质是中间状态 $s(x)$ 在考虑任何候选模型之前定义，其每一维只描述输入查询本身，因此换候选池、换目标都无需重新做语义分析。
核心创新是显式概率语义状态。部署的语义 schema 包含 16 个细粒度探针（表 1）：8 个 Noul 二值问题（math_reasoning、code_reasoning、formal_logic、factual_recall、social_affective、tool_interaction、external_knowledge、current_information）各贡献 1 维正判概率；8 个 Score 四级问题（domain_specialization、reasoning_depth、constraint_density、context_integration、decomposition_need、ambiguity、exactness、answer_openness）各贡献 4 维概率质量，故 $d_{PM}=8+8\times4=40$（公式 5）。与已有方法的本质区别有三：其一，每个维度的含义在训练性能学习器之前就已声明，可逐维审计——路由器选了代码特化模型时，可以展示高代码推理概率、高精确度、高约束密度、低时效依赖这些证据；其二，保留分布而非 argmax：概率质量 $[0.05,0.20,0.55,0.20]$ 与 $[0.00,0.01,0.98,0.01]$ 的硬判定同为第 3 级，但前者证据弱得多，40 维表征让下游学习器能区分这两种情况；其三，特征不含候选身份与适用性评分，语义分析一次完成即可复用于任意候选池与路由目标。第 17 个 Choice 任务族判断仅用于诊断，被排除在主表征之外，路由器只能依赖细粒度证据而非显式的数学/代码/逻辑标签。
方法步骤详情
第一步语义抽取：对每个查询 $x$，JEV 决策模型评估 16 个探针，第 $j$ 个探针返回概率分布 $p_j(x)=(p_j(a_1|x),\ldots,p_j(a_{|A_j|}|x))\in\Delta_{|A_j|-1}$（公式 3）；Noul 判断只取正判概率 $P(q_j=\text{yes}\mid x)$，补集由 $1-p_j$ 确定无需第二特征；Score 判断保留全部四维质量。拼接得到 $s_{PM}(x)$（公式 4），JEV 每查询约消耗 1,606.7 个输入 token、平均延迟约 350ms（p95 481ms，含远程 API 开销）。第二步性能学习：训练 $F_\theta:\mathbb{R}^d\to\mathbb{R}^K$ 输出 $\hat{y}(x)=[\hat{y}_1(x),\ldots,\hat{y}_K(x)]$（公式 7），损失为掩码均方误差 $L_{perf}(\theta)=\sum_{i,m}a_{im}\ell(y_{im},\hat{y}_{im})/\sum_{i,m}a_{im}$（公式 8），主实验用一个多输出 CatBoost 覆盖 20 个候选；性能-成本池因缺失单元改用候选特定回归器避免插补。第三步路由决策：质量导向直接取 $\arg\max_m\hat{y}_m$；成本感知先把质量和成本按拟合分区的极差归一化（公式 10-11），再最大化 $U_m=(1-\lambda)\tilde{y}_m-\lambda\tilde{c}_m$（公式 12-13），$\lambda$ 只在内部验证分区上选定、测试评估前冻结；还允许用策略 $\pi$ 先过滤候选集再做效用最大化（公式 14）。
技术新颖性
新颖性体现在四个层面。（1）表征哲学：现有路由把查询表征视为应学习的量——RouterDC 与 EmbedLLM 用对比学习、GraphRouter 学图嵌入、Model-SAT 用 aptitude 指令——SeLMRoute 反其道而行，表征先验固定为人类可读的语义调查，学习只发生在「语义状态到候选性能」的映射上，形成从证据到效用的可检验链路。（2）概率保真的系统比较：借助 TypeSafe JEV 的 Noul/Choice/Score 类型化原语天然输出概率，论文在同一模型与划分下比较了 ProbabilityMass（40 维）、Full（88 维，含熵/置信度/期望分/离散度等派生量）与 Hard（16 维硬判定），发现原始概率质量最优，这是一条可复用的设计经验。（3）后端可替换性：接口只是「类型化问题+概率答案」，JEV 可换成开源 Laya 而探针 schema 与下游完全不动；实验同时证明抽取器质量本身重要（2.10pp 显著差距），即架构通用但证据质量是瓶颈。（4）评测纪律：duplicate-safe 分组协议、内部验证选 $\lambda$、严格 CostSave 需同时满足验证资格与测试精度两个条件，避免了路由文献常见的事后挑选与泄漏性乐观，负结果（无货币节省、非劣性未确立）也被如实报告。
实验结果
（1）主性能实验（表 3：15 数据集、20 候选模型、11,481 查询、229,620 条候选结果，五个分组 70/30 划分）：ProbabilityMass 以 72.08±0.45 AvgAcc 居首，Gain@R 56.08%、Gain@B 5.72%、Gap@O 22.00%；Full 71.30、Hard 71.20、GTE-Qwen2+CatBoost 71.16、DomainOnly 71.08、TF-IDF 70.87。最强固定候选 Qwen3-8B（Best Single）68.81±0.34，Dataset Oracle 73.94±0.51，Instance Oracle 91.91±0.43：PM 超 Best Single 3.27pp、距 Dataset Oracle 仅 1.86pp，说明路由收益大头来自数据集级规律，实例级机会仍大量未捕捉。（2）与已发表路由器（表 4）：72.08 高于 Avengers 71.94、MODEL-SAT 71.88、EmbedLLM 71.24、GraphRouter 70.29、RouterDC 61.33，但协议不同仅作外部参照。（3）表征配对比较：分组五折 OOF 下 PM 72.64% vs Hard 71.81%，差 0.83pp，95% CI [-0.174,1.837]、p=0.1099，不显著。（4）学习器消融：CatBoost 72.08±0.45 > 随机森林 71.15±0.46 > MLP 70.92±1.64 > Ridge 70.15±0.57 > OLS 70.04±0.54，非线性优势表明语义特征间存在交互（如高代码推理配高精确度、高约束密度时偏好不同模型）。（5）分离价值：JEV-Direct 直接选模型仅 68.78%，SeLMRoute 同折 72.57%，配对差 3.79pp（CI [2.69,4.95]），证明中间语义状态有实质贡献。（6）决策模型替换：Laya-SeLMRoute 70.53% 仍超 Best Single（69.23%）但显著低于 JEV 的 72.64%，差 2.10pp、p=0.00035。（7）Lite-12 嵌套精简：12 探针 72.49% vs 16 探针 72.64%（-0.145pp、p=0.706），token 降 34%、p95 延迟降 18%，但 0.5pp 非劣性未确立（单侧下界 -0.783）。（8）留一探针（表 5）：constraint_density（+0.604pp）、context_integration（+0.511）、current_information（+0.487）最重要；domain_specialization（-0.190）、ambiguity、math/code_reasoning 呈小幅负值，跨域结构特征比领域标签更有信息量。（9）Dataset-OOD：GTE-Qwen2 67.29、Full 67.27、PM 67.02、TF-IDF 66.68、DomainOnly 65.94，语义表征仍有竞争力；Domain-OOD：GTE 67.31 领先 PM 65.66 约 1.65pp，整域未见时稠密嵌入反超。（10）不确定性：语义熵 AURC 0.0901 优于路由器 margin 的 0.0974，但固定熵阈值的选择性路由跨域仅 65.38±0.60 @ 96.82±0.92% 覆盖率 vs 全路由 65.32±0.60，无实质增益。（11）性能-成本（13 旗舰模型、10 数据集、12,446 查询、161,520 条结果，GPT-5 为参照）：PerfGain 五个 split 全正（+0.52%~+4.58%，均值 +2.66±1.85%），但严格 CostSave 无一为正（-0.10%、-1.58%、三种子 N/A）。（12）开销：JEV 抽取约 1,607 token/查询、$0.0675/千查询、350ms 均值（p95 481ms）；Laya 本地 103ms（p95 206ms）；CatBoost 批量推理低至 0.011ms/查询。
![AvgAcc compared with published LLMRouterBench performance-oriented results. Published methods use the benchmark protocol reported in [1]; SeLMRoute uses the duplicate-query-safe grouped protocol.](/papers/2609.34736/images/table_4.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LLMRouterBench 性能导向路由（15 数据集、20 模型、11,481 查询） | AvgAcc（五个分组 70/30 划分均值±标准差） | SeLMRoute ProbabilityMass 72.08±0.45 | 最强替代表征 GTE-Qwen2+CatBoost 71.16±0.74；最强固定模型 Qwen3-8B（Best Single）68.81±0.34 | 较 GTE +0.92pp；较 Best Single +3.27pp；距 Dataset Oracle 73.94 仅 1.86pp |
| 与已发表路由器对比（LLMRouterBench 官方协议，外部参照） | AvgAcc | 72.08±0.45 | Avengers 71.94；MODEL-SAT 71.88；EmbedLLM 71.24；GraphRouter 70.29；RouterDC 61.33 | +0.14pp（vs Avengers）；注意双方划分协议不同，不能作配对显著性声明 |
| 表征消融配对比较（分组五折 OOF） | OOF AvgAcc | ProbabilityMass 72.64% | Hard 硬判定 71.81%（Full 88 维在主表中为 71.30） | +0.83pp，但 95% CI [-0.174,1.837]、p=0.1099，统计不显著 |
| 语义分析与性能学习分离（直接路由消融） | 同折 AvgAcc（分组五折） | SeLMRoute 72.57%（OOF 协议 72.64%） | JEV-Direct 让决策模型带匿名候选画像直接选模型 68.78% | +3.79pp，95% CI [2.69,4.95]，显著支持架构分离 |
| 语义抽取后端替换（16 探针 schema 与下游不变） | 分组五折 OOF AvgAcc | JEV-SeLMRoute 72.64% | 开源 Laya-SeLMRoute 70.53%；Best Single 69.23% | Laya 较 Best Single +1.30pp；JEV 较 Laya +2.10pp（95% CI [0.940,3.255]，p=0.00035，显著） |
| 旗舰模型成本感知路由（13 模型、10 数据集、12,446 查询） | PerfGain（相对 GPT-5 参照的测试精度提升） | 五个分组 split 全部为正：+0.52% ~ +4.58%，均值 +2.66±1.85% | GPT-5（旗舰池中的 Best Single，基准官方参照模型） | 精度全面超越，但严格 CostSave 无一为正（-0.10%、-1.58%、三个种子 N/A） |
| Domain-OOD（整个任务域从训练中剔除，5 个 held-out 域） | AvgAcc | ProbabilityMass 65.66% | GTE-Qwen2 稠密嵌入 67.31%（DomainOnly 65.64、TF-IDF 65.62、Full 65.44） | -1.65pp：未见整域时稠密嵌入占优，说明语义压缩无法替代候选在陌生区域的行为证据 |
| 语义不确定性对路由错误的排序（分布内 OOF） | AURC（越低越好） | 语义熵 0.0901 | 下游路由器置信 margin 0.0974 | 熵排序略优；但固定阈值选择性路由跨域迁移无实质收益（65.38 vs 65.32 @96.8% 覆盖率） |
局限与改进
作者明确承认的局限：（1）ProbabilityMass 对 Hard 的优势在配对 OOF 下统计不显著（p=0.1099，CI 含 0），「保留概率质量更好」只能是倾向性结论；（2）Domain-OOD 下被 GTE-Qwen2 反超约 1.65pp，把查询压缩进预定义语义属性无法替代候选模型在陌生区域的实证行为证据，需要冷启动或额外语料校准；（3）性能-成本实验未建立严格的货币节省——验证阶段选出的低成本运行点要么不存在、要么测试时反而更贵（-0.10%、-1.58%）；（4）语义抽取引入约 350ms 均值（p95 481ms）的串行延迟，对低延迟部署不友好；（5）新增候选模型时旧语义向量虽可复用，性能学习器却必须先获得该模型的实证校准；（6）Lite-12 精简相对 0.5pp 非劣性裕度的单侧下界为 -0.783，非劣性未确立；（7）与已发表路由器只能外部参照，不能配对比较。我的补充观察：（a）16 个探针的措辞与粒度由作者手工设计并在同一基准上评估，虽有嵌套选择防泄漏，schema 设计阶段的隐性基准知识无法完全排除；（b）语义判断质量绑定于单一决策模型，JEV 的系统性偏差会无损传入路由器，论文未报告探针判断与人工标注的一致性；（c）LLMRouterBench 是冻结的静态快照，候选模型版本迭代后语义到性能映射的漂移速度未被研究；（d）每查询约 1,607 token 的抽取成本虽便宜（$0.0675/千查询），但在千万级日查询量下是持续运营成本，且比稠密嵌入一次前向贵一个量级。
独立分析的弱点
弱点一（表征质量单点依赖）：JEV 与 Laya 2.10pp 的显著差距说明路由上限被抽取器锁定，而 JEV 是闭源商业 API，存在定价、停服与判断漂移风险。改进方向：在开源决策模型上微调「语义路由专用」版本（作者亦列为未来工作），或对多个抽取器集成并做概率校准。弱点二（OOD 外推）：Domain-OOD 表明纯描述性语义状态无法外推到候选行为未知的区域。可引入分层贝叶斯式的相似语义区域性能收缩估计，或把稠密嵌入作为残差通道与 40 维语义状态拼接，兼得可解释性与外推能力。弱点三（延迟瓶颈）：350ms 的串行抽取意味着路由本身成为响应延迟的主要来源；可并行化探针调用、把抽取器蒸馏为小型本地模型，或对低风险查询用 embedding 先行、语义抽取按需触发的级联设计。弱点四（不确定性未参与决策）：熵只用于事后拒绝，路由本身仍是 argmax 点估计；可让预期效用叠加语义不确定性，例如对高歧义查询自动选择保守模型、触发澄清追问或扩大候选采样。弱点五（静态映射）：候选模型持续更新而映射基于冻结快照，论文未量化衰减速度；需要漂移监测与增量校准机制。弱点六（成本目标过于苛刻）：严格 CostSave 全负源于「单点 λ + GPT-5 精度硬约束」的组合，可改为报告帕累托前沿或多约束（质量-成本-延迟）联合优化，更符合真实部署的权衡空间。
未来方向
作者提出的方向包括：微调开源决策模型使其专门化于本框架的语义分析任务；对探针输出的概率分布做校准；联合处理语义不确定性与路由不确定性；自适应探针选择（按查询动态决定评估哪些问题）；候选冷启动的主动校准——挑选信息量最大的语义区域去评测新引入的模型；候选能力或价格变化时的在线适应；以及联合考虑模型质量、抽取成本与延迟的路由目标。基于本文成果还可自然延伸：（1）把语义状态当作模型能力画像的通用接口——新模型只需在语义空间上做少量主动采样即可入库，可与 ICL-Router 的免重训引入新候选思路结合；（2）语义证据用于审计与合规：向用户或监管解释「此请求为何路由到模型 A」（高代码推理概率+高约束密度+低时效依赖），这是匿名嵌入无法提供的可问责性；（3）多步 agent 任务的序列路由：对子任务分别抽取语义状态，联合优化整条轨迹的质量与成本；（4）在 LLMRouterBench 之外的分布（多语言、长上下文、工具调用、多模态）检验 16 维 schema 的覆盖度并按需扩展探针集；（5）理论层面刻画何时保留概率质量严格优于硬判定，例如当性能映射在语义边界附近变化剧烈时。
复现评估
复现条件总体友好。代码已在 GitHub 开源（Indigma-Innovations/SeLMRoute）；数据依托公开的 LLMRouterBench 冻结 bundle——性能导向 11,481 查询/229,620 条候选结果，成本导向 12,446 查询/161,520 条结果（注意其 MMLU-Pro bundle 比官方计数多 1 条）；五个划分种子 {42,999,2024,2025,3407}、分组规则（数据集+规范化查询文本）、全部指标公式（AvgAcc、Gain@R/B、Gap@O、公式 15-17）与统计流程（10,000 次 bootstrap、20,000 次置换）均写明。算力门槛极低：下游只是 CatBoost/随机森林/MLP/Ridge/OLS，单机 CPU 即可训练，推理 1.23ms/查询（批 256 时 0.011ms）。主要变数在语义抽取后端：默认 JEV 是 TypeSafe 商业 API（评测时 $0.042/M 输入 token，全基准抽取仅约 $0.775），需要账号且价格可能变动；开源替代 Laya（Apache-2.0，可本地部署，均值延迟 103ms）可复现架构但精度低 2.10pp，想复现 72.64% 的 OOF 结果必须用 JEV。探针 schema 已在表 1 完整列出。综合评估复现难度中等偏低：协议严谨、成本低、代码开源，最大风险是 JEV 的可得性与版本变化导致的语义状态漂移。
论文图表