路由应当自负盈亏：面向经济型LLM路由的稀疏监督 Routing Should Pay for Itself: Sparse Supervision for Economical LLM Routing

完整流程（算法 1）五步。第一步查询分组：仅用查询输入（从不用质量反馈）。若任务标签可预测（类别数 $\le 128$ 且分类器训练准确率 $\ge 0.8$），训练查询用真实标签、新查询用 logistic 分类器（$C=10$）；否则对冻结表示做 MiniBatchKMeans，组数 $G = \text{clip}(\text{round}(\sqrt{N/2}), 4, 32)$。文本用 all-MiniLM-L6-v2（384 维），MMRBench 用 CLIP ViT-B/16 图文拼接（1024 维）。第二步稀疏采集：持久观测掩码 $O_{im}$，共 $K$ 轮；每轮开始重置轮内统计并随机打乱全部训练查询（seed $42+1009p$）；若候选集 $\mathcal{C}_i$ 中存在 $n_{g_im m}=0$ 的模型则先均匀采一个保证覆盖，否则选 UCB 分最大者，选中后才揭示 $y_{im}$ 和实际成本 $c_{im}$。第三步结构化先验：在全部观测 $\Omega$ 上岭回归拟合 $y_{im} = b + u_{g_i} + v_m + \epsilon_{im}$（$\lambda_{prior}=10$），先验 $\pi_{gm} = \text{clip}(\hat{b}+\hat{u}_g+\hat{v}_m, 0, 1)$；再收缩为 $\hat{\mu}_{gm} = (S^\Omega_{gm}+\tau\pi_{gm})/(n^\Omega_{gm}+\tau)$（$\tau=40$）。第四步残差校正：构造留一基线 $\hat{\mu}^{(-i)}_{g_im m} = (S^\Omega_{g_im m}-y_{im}+\tau\pi_{g_im m})/(n^\Omega_{g_im m}-1+\tau)$，残差 $e_{im} = y_{im}-\hat{\mu}^{(-i)}$；对观测数 $\ge 8$ 的模型拟合 Ridge 线性预测器 $h_m$（输入为词级 1-2 gram 与字符级 3-5 gram TF-IDF，各 $\le$ 30000 词表），最终估计 $\hat{y}_m(x) = \hat{\mu}_{\hat{g}(x),m} + \gamma h_m(\psi_{res}(x))$（$\gamma=2$，不截断到 $[0,1]$）。第五步成本感知路由：$\hat{c}_{gm}$ 取组-模型观测均值、缺失时退回模型级均值，路由 $\pi_\lambda(x) = \arg\max_{m}[\hat{y}_m(x) - \lambda\hat{c}_{\hat{g}(x),m}/C_{max}]$，$\lambda$ 在 201 个点扫描。

技术新颖性体现在四个层面。概念层面：首次把路由器构建的监督支出形式化为 $C_0(\Omega) = \sum_{(i,m)\in\Omega} a_{im}$ 并提出 SA-BEP/SA-CR 两个摊销指标，把'建路由器'从免费假设变成会计科目；配套命题 2 给出追加监督的经济判据——只有当部署规模 $H$ 满足 $H(s_1-s_2) > \Delta C_0$ 时，多花监督才划算，从而解释了'更多监督不一定更早回本'。问题形式层面：采集-学习耦合优化 $\max_{\Omega,\pi_\Omega}$ 区别于主动学习（只采查询标签、无模型异质性）和高效基准评测（保排名而非保决策）。模型层面：结构化双向可加先验 + 收缩 + 留一残差的三层估计，专门针对自适应采集造成的非均匀稀疏观测设计——频繁观测的对被本地证据主导，稀疏或零观测的对平滑退回共享先验，无需对缺失模式做任何特殊处理。分析层面：命题 3 证明当估计误差不超过效用边际时路由决策不变，为'决策充分性优于信息完整性'提供了严格依据。实验方法学上，监督摊销记账协议（稀疏方法与 BaRP/WISERouter/SemiRouter 的每次反馈调用都单独计费）本身就是对评测规范的一个贡献。

弱点一：双向可加模型 $y_{im} = b + u_{g_i} + v_m$ 假设组效应与模型效应可分离，无法表达组与模型的交互（例如某模型恰好在代码组异常强而在其余组平庸）。在组间模型排序剧烈变化的基准上先验会系统性失准。改进方向：用低秩矩阵补全或因子机替换可加模型，让先验携带 $g \times m$ 交互项，同时保持可从稀疏观测拟合。弱点二：新查询的组指派是单点预测——logistic 分类器或最近质心一旦分错组，所有组条件量 $\hat{\mu}_{gm}$、$\hat{c}_{gm}$ 随之错位，且残差校正未必能兜底。改进方向：软分组（按后验概率对多组估计加权）或层次收缩到模型级均值，可平滑分组误差。弱点三：残差预测器是 TF-IDF + Ridge 线性模型，表达力有限，难以捕捉需要语义理解的路由信号（如长尾推理题的模型偏好）。改进方向：换用冻结 LLM 嵌入上的浅层非线性头，但需把训练开销计入 $C_0$ 的扩展版核算。弱点四：预算按每查询固定 $K$ 分配，忽视了异质性——易分组或许 1 次观测就够，难分组应得更多。改进方向：把 $\sum_m O_{im} \le K$ 放宽为全局预算约束，用最优实验设计或 Thompson 采样做跨查询预算再分配。弱点五：整个框架是静态的，模型池演化、查询分布漂移都需要重新采集，而 Table A13 表明重复采集的记账方式（fresh vs cached）能让对手方法的回本量波动一个数量级，说明在线持续采集的经济模型尚未解决。改进方向：增量采集 + 缓存感知的 bandit，把命题 2 的交叉点判据动态化。

作者明确提出或暗示的方向：其一，冷启动模型接入的系统化——附录 F 已证明约 10% 新模型反馈（成本为全量评估的 9.35-11.92%）足以在 12 个到达案例中的 8 个超越稠密最优 Ps，未来可研究零参数保持的在线准入与到达时机决策；其二，与 active testing / active learning 的更深层理论结合——本文的采集耦合了查询结构与模型异质性，其信息增益与决策价值的理论刻画（如 regret bound）尚属空白；其三，把决策充分性（命题 3）用于自适应停止：当估计误差小于效用边际时即刻停止采集，让预算 $K$ 端到端内生化。基于本文成果可延伸的方向：把 SA-BEP/SA-CR 作为一级指标反向写进现有路由基准（RouterBench、LLMRouterBench 等）的榜单，推动社区按经济性而非纯质量排序；在部署规模 $H$ 已知的场景下，用命题 2 的交叉点 $H_{cross} = \Delta C_0/\delta$ 自动选择最优监督预算与路由器类型；扩展到延迟、能耗等多维成本与多目标效用；把 MMRBench 的多模态稀疏采集做深（当前 MMRBench 稠密基线在新模型到达上仍更强）；以及缓存与相似查询复用（跨查询共享反馈）纳入采集决策，直接回应 fresh-vs-cached 记账敏感性。

复现条件相当好。代码已开源：https://github.com/LAMDA-Model-Reuse/SaveRouter。五个基准（LLMRouterBench、Mixinstruct、MMR-Bench、RouterBench、RouterEval）均为公开数据集，全部实验统一在 ORBIT 工具箱内用相同 20%/80% 划分（seed 42）评估。超参完整披露（Table A1：$\alpha_0=1$，$\beta_0=1$，$\tau_0=10$，$\beta_{ucb}=0.35$，$\lambda_{prior}=10$，$\tau=40$，$\lambda_{ctx}=100$（LLMRouterBench 上 200），$\gamma=2$，残差最少 8 观测），采集随机性也有明确协议（seed $42+1009p$，平局微小扰动）。算力需求低：分组用冻结的 MiniLM/CLIP 表示加 KMeans/logistic，估计器全是 Ridge 线性模型，无需 GPU 训练大模型；真正的开销是采集反馈所需的模型调用（如 LLMRouterBench 约 2,489×4 次），若使用基准自带反馈数据则近乎零成本。难点有二：一是 WISERouter/BaRP/SemiRouter 是论文派生重实现，对齐细节可能有偏差；二是成本记账协议必须严格遵守——fresh 与 cached 记账能让 BaRP 的 SA-BEP 相差 7.3-11.1 倍，成本字段归一化方式也因基准而异，复现表格数字时需逐项核对 Appendix A 与 D 的口径。总体难度：低到中等。