FlexRouter：学习互补模型集合的灵活LLM路由 FlexRouter: Learning Complementary Model Sets for Flexible LLM Routing
用DPP建模模型互补性，自适应选择互补模型子集，最大化至少一个答案正确的概率
前置知识
LLM 路由
给定用户查询，从候选大模型池中决定调用哪个（或哪些）模型的技术。动机是没有单一模型在所有任务上占优，且候选模型数量庞大、更迭迅速。主流做法是路由器为每个模型预测'能答对该查询'的分数，再按分数选 top-k 个模型，目标是在算力预算内最大化答案质量。
本文要解决的核心问题就是路由——只有理解 top-k 独立打分这一主流范式的缺陷（忽略模型相关性、预算刚性），才能理解 FlexRouter 的动机和设计。
行列式点过程（DPP）
定义在集合子集上的概率分布：子集 $S$ 被选中的概率正比于核矩阵子式 $\det((L)_S)$。行列式的几何意义是所选向量张成平行体体积的平方——单个元素质量高会抬高核矩阵对角线（体积变大），元素之间过于相似会使体积塌缩，因此 DPP 天然偏好'高质量且互相不相似'的子集，广泛用于文档摘要、推荐等兼顾质量与多样性的选择任务。
FlexRouter 的路由策略完全由 DPP 参数化：核矩阵构造、覆盖训练目标、贪心 MAP 推断全部建立在其数学性质之上，不懂 DPP 就无法读懂方法部分。
Success@k 覆盖率
路由评测指标：对每个查询选出至多 $k$ 个模型，若所选子集中至少一个模型答对则该查询记为成功，Success@k 即成功查询占总查询的比例。它度量候选池'至少包含一个正确答案'的概率，与下游由验证器、重排序器或用户挑选最终答案的真实流水线对齐，但并不等于最终部署精度。
它是本文的优化目标和主评测指标，覆盖损失 $\mathcal{L}_{hit}$ 就是在直接最大化这个量的期望，指标与训练目标严格对齐是本文方法论的关键。
次模函数与贪心推断
次模函数满足边际增益递减：对 $S\subseteq T$ 有 $f(S\cup\{i\})-f(S)\ge f(T\cup\{i\})-f(T)$。最大化此类函数的贪心算法（每步选边际增益最大的元素）有经典近似保证。$f(S)=\log\det((L)_S)$ 是典型的次模但非单调函数——加入与已选集合高度相关的元素反而会使函数值下降，这是 DPP 惩罚冗余的数学根源。
论文命题 1-2 的理论结果完全依赖这些性质：它们解释了为什么冗余模型会降低行列式，并证明了带自适应停止的贪心算法选出的子集不会被任何超集改进。
Schur 补与边际增益
对正定矩阵分块后，Schur 补 $(L)_{ii\cdot S}=(L)_{ii}-(L)_{i,S}[(L)_S]^{-1}(L)_{S,i}$ 满足 $\det(L_{S\cup\{i\}})/\det(L_S)=(L)_{ii\cdot S}$。它把 DPP 中'加入元素 $i$ 后行列式的乘性增益'化为一次低秩计算，配合 Cholesky 分解维护，使贪心 MAP 推断的复杂度降为 $O(k^2M)$，无需对每个候选子集重新求行列式。
推理阶段每一步选哪个模型入集、何时触发停止条件，都由这个可高效计算的边际增益决定，是理解算法 4 的前置知识。
研究动机
目前主流 LLM 路由方法（如 EmbedLLM、RouterDC、BaRP）的核心做法是：为每个候选模型独立预测一个'能否答对'的分数，然后选取分数最高的 top-k 个模型。这种独立打分完全忽略模型之间的相关性——用相似数据或相似架构训练出的模型往往有相似的能力边界和失败模式，于是路由器经常选出一批同质化模型。论文 Figure 2 给出具体例子：SOTA 路由器对'抛两次均匀硬币求正面期望次数'这道题选出的多个模型给出同样的枚举思路，对'洗车点 100 米该走路还是开车'和'写回文检查器'也产生几乎相同的冗余输出；当这些高分模型集体答错时，整个候选池全军覆没，下游任何验证器都无法挽回。此外 top-k 是刚性预算：无论问题简单还是困难都要调用固定 $k$ 个模型，简单问题浪费算力，困难问题又可能覆盖不足。
本文的目标是本文的目标是把 LLM 路由重新定义为覆盖率导向的子集选择问题：给定查询 $x$，从 $M$ 个候选模型中选出子集 $S$，最大化'$S$ 中至少有一个模型答对'的概率 $R(x,S)=\mathbb{I}[S\cap C_x\neq\emptyset]$，同时抑制冗余选择。这一定义贴合真实推理流水线：系统先并行调用多个模型生成候选答案，再由验证器、重排序器或人类用户挑出最终答案——此时关键不是所有模型都对，而是至少一个对，因为只要全部失败任何下游选择器都无力回天。作者还希望路由器能自适应决定子集大小：难题多调用几个模型，简单问题少调用甚至只调用一个，从而提供一个覆盖率与计算成本之间连续可调的权衡旋钮，摆脱固定 $k$ 的束缚。
与已有工作不同的是，已有方法要么独立打分选 top-k（EmbedLLM、RouterDC），要么把路由建模为多目标上下文老虎机（BaRP），均不显式建模模型间相关性；即便考虑多样性，也多为事后启发式惩罚，如 MMR 在独立分数上减去与已选模型的最大相似度。本文的独特切入有三点：第一，用行列式点过程（DPP）把'质量'放进核矩阵对角线、把'冗余惩罚'放进非对角线，使子集分布与覆盖率目标在结构上天然对齐；第二，训练时监督信号只是每个模型的 0/1 正确性向量 $y\in\{0,1\}^M$，不存在唯一'标准答案子集'，标准 DPP 最大似然失效，作者通过对失败集 $F_x$ 边缘化推导出可直接优化的覆盖闭式损失；第三，利用 $\log$-行列式次模非单调的性质设计自适应停止规则，并证明贪心解不会被任何超集改进，从而按查询难度自动伸缩模型数量。
核心方法
FlexRouter 把'选一组互补模型'变成 DPP 分布下的 MAP 推断问题。直觉上，DPP 核矩阵 $L_x$ 的行列式等于所选子集张成的'体积'：模型质量高会抬高对角线使体积变大，模型间过于相似会使体积塌缩，高行列式天然对应'又强又互补'的子集。技术上，共享文本编码器 $E(\cdot)$（RoBERTa-base）把查询编码为 $v_x$，与每个可学习模型嵌入 $u_i$ 做内积过 sigmoid 得查询相关质量分 $q_i(x)=\sigma(v_x^\top u_i)$；模型间静态相关性用余弦相似度 $K_{ij}=\frac{u_i^\top u_j}{\|u_i\|\|u_j\|}$ 度量；最终构造查询相关核 $L_x=\mathrm{diag}(q(x))\,K\,\mathrm{diag}(q(x))$，子集 $S$ 的选择概率为 $\mathbb{P}_{L_x}(S)=\frac{\det((L_x)_S)}{\det(I+L_x)}$，其中对角元 $q_i^2$ 编码单模能力、非对角元 $q_iq_jK_{ij}$ 惩罚相关模型联合选择。训练直接最大化覆盖概率，推理用带自适应停止的贪心算法近似 MAP。
核心创新是'覆盖对齐的 DPP 训练目标'。传统 DPP 学习假设观测到目标子集 $S^*$ 做最大似然，但路由的监督只是 0/1 正确性向量 $y$，任何含至少一个正确模型的子集都算成功，不存在唯一目标子集。作者转而计算失败概率：子集完全落在失败集 $F_x$ 内的概率有闭式解 $\mathbb{P}(Y\subseteq F_x)=\frac{\det(I+(L_x)_{F_x})}{\det(I+L_x)}$（附录命题 3），于是覆盖损失为 $\mathcal{L}_{hit}(x)=-\log\!\left(1-\frac{\det(I+(L_x)_{F_x})}{\det(I+L_x)}\right)$，叠加对 $q_i(x)$ 的 BCE 辅助损失稳定训练。第二个创新是自适应停止：$\log\det((L_x)_S)$ 次模但非单调（命题 1），加入高度相关模型反而降低行列式；贪心时一旦最佳候选的边际增益低于首次增益的 $\tau$ 倍即停止，命题 2 证明此时选出的子集在其所有超集中行列式全局最大，从而按查询难度自动决定模型数量，摆脱固定 top-k 预算。
方法步骤详情
流程分四步。（1）编码与打分：查询经 RoBERTa-base 编码投影到 128 维空间得 $v_x$，每个候选模型有可学习嵌入 $u_i$，内积过 sigmoid 得质量分 $q_i(x)$。（2）构造核矩阵：按 $L_x=\mathrm{diag}(q(x))\,K\,\mathrm{diag}(q(x))$ 组装 $M\times M$ 的 PSD 核，$K$ 为模型嵌入余弦相似度矩阵。（3）训练：最小化覆盖损失 $\mathcal{L}_{hit}$ 加 $\lambda=1.0$ 的 BCE 辅助损失，Adam 学习率 $10^{-3}$，最多 100 epoch，按验证 Success@k 早停（patience 15），单张 A100 80GB 完成。（4）推理：初始化 $S=\emptyset$，每步用 Schur 补 $g_i(S)=(L_x)_{ii}-(L_x)_{i,S}[(L_x)_S]^{-1}(L_x)_{S,i}$ 计算边际增益，选最大者入集；当 $g_{i^*}$ 低于首次增益的 $\tau$ 倍或达到 $k_{max}=10$ 时停止。复杂度 $O(k^2M)$，实践中先按质量分取 top-$K_0$ 预筛候选池。
技术新颖性
与已有工作的本质区别体现在三个层面。建模层面：EmbedLLM、RouterDC 等对每个模型独立打分，模型相关性完全缺失；BaRP 用上下文老虎机学策略但选择时仍按分数独立；FlexRouter 用 DPP 把'质量×多样性'统一进一个行列式，冗余惩罚是结构性的而非外加的。目标层面：此前 DPP 应用都是'给定目标子集做最大似然'，本文首次在'只有 0/1 正确性标签、无目标子集'的弱监督下训练 DPP，通过失败集边缘化把覆盖率变成核矩阵行列式的可微函数，使训练目标与 Success@k 评测指标严格对齐——这是 DPP 文献中此前不存在的设定。推理层面：top-k 方法预算刚性，MMR/MaxDiversity 只是启发式后处理；FlexRouter 的贪心停止规则有理论保证（命题 2：贪心解是自身所有超集中的全局行列式最大者），$\tau$ 提供连续可调的覆盖率-成本旋钮。附录 D.2 消融进一步证明增益来自 DPP 覆盖目标而非泛泛的多样性启发式：同为多样性感知的 MMR 在中等池 $k=10$ 只有 0.842，低于 FlexRouter 的 0.872。
实验结果
在 RouterEval 两个设定上评测。中等池（3811 个 LLM）：平均 Success@10 达 0.8632，高于 EmbedLLM 0.8329 和 BaRP 0.8320（表 1）；GPQA 上 0.8487 大幅领先 EmbedLLM 0.7731，域外 IFEval 0.9390、MuSR 0.7738 均最佳，说明可泛化到未见任务。大池（5000 个 LLM）：平均 Success@10 高达 0.9914（EmbedLLM 0.9802、BaRP 0.9142），六项任务五项第一，域外 TruthfulQA 0.9951、WinoGrande 0.9976（表 2）；唯一败绩是 MATH（0.8075 vs 0.8264），作者解释为该任务存在少数专精模型、独立选高分已足够。多样性：中等池 ILD@10 平均 0.7620（基线约 0.20），大池 0.6802（表 3/4），且 BaRP 的 ILD 几乎不随任务变化，暴露其依赖固定模型集。消融：余弦核比 RBF 核更多样且整体更具竞争力（表 5）；$\tau=0.2$ 时平均子集从 10 降到 6.41（省 35.9% 调用）覆盖率仅降 1.13%（表 6、图 4）。跨预算（表 8）坦承 $k=1$ 落后 EmbedLLM（0.417 vs 0.542），$k=3$ 起反超。池构成（表 9）：Zero-Correct Rate 中等池 0.128 vs 0.160、大池 0.008 vs 0.022，全错候选池显著减少。对比 MMR 等（表 10：0.872 vs 0.842）及 25%/50% 标注消融（表 11：0.860/0.865 vs 0.884）验证增益源于覆盖目标本身且标注高效。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RouterEval 中等池（3811 模型，域内+域外平均） | Success@10 | 0.8632 | EmbedLLM 0.8329 / BaRP 0.8320 | +3.0 个百分点 |
| RouterEval 大池（5000 模型，域内+域外平均） | Success@10 | 0.9914 | EmbedLLM 0.9802 / BaRP 0.9142 | +1.1 / +7.7 个百分点 |
| GPQA（中等池域内） | Success@10 | 0.8487 | BaRP 0.8445 / EmbedLLM 0.7731 | +0.4 / +7.6 个百分点 |
| 中等池平均子集多样性 | ILD@10（固定嵌入空间） | 0.7620 | EmbedLLM 0.2112 / BaRP 0.1982 | 约为基线的 3.6 倍 |
| 大池域内自适应预算（$\tau=0.2$） | Success@10 / 平均子集大小 | 0.9772 / 6.41 个模型 | $\tau=0$ 时 0.9885 / 10.00 个模型 | 调用成本降 35.9%，覆盖率仅降 1.13% |
| 中等池全错候选池比例 | Zero-Correct Rate（$k=10$，越低越好） | 0.128 | EmbedLLM 0.160 / BaRP 0.156 | 相对 EmbedLLM 降 20% |
| 中等池（MMR 等多样性启发式基线） | Success@10（$k=10$） | 0.872 | MMR 0.842 / MaxDiversity 0.837 / Random-k 0.806 | +3.0~6.6 个百分点 |
局限与改进
作者明确承认三点局限：其一，FlexRouter 只做候选池构建，Success@k 是路由阶段覆盖率而非最终部署精度，下游验证器/重排序器不保证能从候选中挑出正确答案，端到端评测留作未来工作；其二，多样性用固定预训练嵌入空间中的模型级距离度量，不必然等于每个查询的输出语义多样性——RouterEval 只有正确性标签、没有完整生成文本，回答级多样性与答案一致性分析缺失；其三，成本用'调用模型个数'做代理，忽略不同模型的延迟、token 价格、输出长度和批处理等真实部署因素。我的补充观察：$k=1$ 设定下明显弱于独立打分（0.417 vs 0.542），该方法不适用于单模型路由场景；训练依赖 RouterEval 式稠密（查询×模型）0/1 标注——5000 个模型的每个查询都要标注，现实中新模型冷启动和模型级标签稀疏问题完全未触及；$M\times M$ 核在候选池剧烈变化时需频繁重训模型嵌入，top-$K_0$ 预筛也可能提前丢弃互补但低分的专精模型。
独立分析的弱点
独立分析有五个具体弱点。第一，无下游闭环：覆盖率提升 1-3 个百分点能否转化为最终答案准确率，取决于验证器质量——若验证器很强，一条正确候选就够；若很弱，多数候选正确也无济于事。应补充与 LLM-as-judge、奖励模型、self-consistency 等具体选择器联动的端到端实验，量化'覆盖率→最终精度'的传递系数。第二，标签成本假设过强：训练要求每个查询对所有数千候选模型的 0/1 结果，改进方向是引入 bandit 式在线探索或矩阵补全，从部分标签估计完整正确性矩阵。第三，模型嵌入 $u_i$ 静态且需重训：新模型加入或旧模型更新后需重新学习嵌入并重训路由器，可设计基于模型元数据或能力描述文本的冷启动嵌入初始化。第四，$\tau$ 是全局超参：同一阈值对所有查询统一截断，但简单题与难题的边际增益分布不同，可学习查询相关的自适应停止阈值或用不确定度估计动态调整。第五，$O(k^2M)$ 贪心加 top-$K_0$ 预筛可能在预筛阶段就丢掉互补但低分的专精模型——MATH 上输给 EmbedLLM 或与此有关，可设计两阶段'广召互补候选+DPP 精排'策略。
未来方向
作者提出的方向包括：与具体下游选择器（验证器、奖励模型、LLM-as-judge、self-consistency、人类用户）做完整端到端联合评测；基于生成文本做回答级多样性与答案一致性分析；把模型特定延迟、token 价格、输出长度、硬件约束纳入优化目标，实现真正的成本感知路由；研究模型级标签稀疏（每个查询只有部分模型被标注）下的路由，即矩阵补全/老虎机探索设定。基于本文成果还可延伸：把 FlexRouter 生成的互补候选池直接接入 Mixture-of-Agents、LLM-Blender 等多模型协作框架，按查询动态组装'专家团'替代手工固定模型集；利用 DPP 边际增益作为查询难度的免费信号反哺成本控制与调度；在模型池持续漂移的生产环境研究增量式 DPP 核更新与嵌入回放；把覆盖目标推广到'至少一个满足'的其他集合目标，如答案一致性、安全性与事实性的多样化保障。
复现评估
复现基础较好。基准 RouterEval（Huang et al., 2025）公开提供每个（查询,模型）对的二元正确性标签，覆盖中等池 3811 与大池 5000 个候选 LLM，以及 BBH/MATH/GPQA/IFEval/MuSR/MMLU/HellaSwag/GSM8K/ARC/TruthfulQA/WinoGrande 等公开数据集（表 7：如 MMLU 14042 条提示、BBH 5761 条）。正文未给出开源代码链接，但实现细节披露充分：RoBERTa-base 编码器、128 维共享空间、Adam 学习率 $10^{-3}$、最多 100 epoch、早停 patience 15、$\lambda=1.0$、$k_{max}=10$、余弦核，单张 A100 80GB 即可训练，贪心推理仅 $O(k^2M)$ 且可 top-$K_0$ 预筛。主要工程量在于获取 RouterEval 标注数据（数千模型×上万查询）及 DPP 行列式运算的数值稳定性（Cholesky 分解与 PSD 保证）。总体评估：对有 GPU 资源的团队属中等难度，核心算法百行级 PyTorch 可实现。
论文图表
三组实例对比：问答（走路还是开车去洗车店）、数学推理（抛两次硬币的期望正面数）、编程（回文检查器）。top-k 路由选出的模型给出几乎相同的答案（共享失败模式），FlexRouter 选出的模型则给出多样化思路（枚举/线性期望/对称性；多种代码实现），提高至少一个正确的概率。
用具体查询直观展示论文要解决的核心问题——独立 top-k 的冗余性与失败相关性，是 motivation 章节最有说服力的定性证据。
大池多样性指标：FlexRouter 平均 ILD@10 为 0.6802，六项任务中五项最佳（ARC 0.7653、TruthfulQA 0.7396、WinoGrande 0.7516 等）；BaRP 平均 0.5521 但各任务数值几乎相同（0.5520~0.5521），暴露其依赖固定模型集而非查询自适应。
既展示多样性优势，也通过 BaRP 的异常数值揭示基线的隐藏缺陷，是分析实验深度的重要证据。
停止阈值细粒度数值表：$\tau$ 从 0 增至 0.5 时平均子集大小从 10.00 降至 1.41，Success@10 从 0.9885 降至 0.8828；关键行 $\tau=0.2$ 为 6.41 个模型、0.9772（规模省 35.9%、覆盖率仅降 1.13%），$\tau=0.3$ 为 4.25 个模型、0.9562。
给出图 4 曲线的精确数值，是部署者选择运行点的直接参考，量化了'灵活成本'主张的代价曲线。