← 返回 2026-05-11

ModelLens:从海量模型中为你的任务找到最佳选择 ModelLens: Finding the Best for Your Task from Myriads of Models

Rui Cai, Weijie Jacky Mo, Xiaofei Wen, Qiyao Ma, Wenhui Zhu, Xiwen Chen, Muhao Chen, Zhe Zhao 📅 2026-05-08 👍 15 2026-07-13 08:36
大模型生态 排序学习 模型推荐 矩阵补全 迁移性估计 零样本冷启动
arXiv HuggingFace PDF

基于排行榜交互信号做模型推荐,零样本预测未见模型在未见数据集上的表现

前置知识

迁移性估计(Transferability Estimation)

在不对模型进行完整微调的前提下,通过单次前向传播提取特征-标签统计量(H-Score、LogME、LEEP 等)来预测一个预训练模型迁移到目标任务的效果。核心假设是预训练→微调的范式,且每个候选模型都必须在目标数据集上跑一遍。

它是当前模型选择的主流范式,本文正是指出其在大模型生态下不可行,从而提出新范式。

模型路由(Model Routing)

给定一个固定的候选模型池,根据输入查询的难度/类型,用一个路由器把请求分发给最合适的模型,目的是在精度和成本间取得平衡。代表工作有 KNNRouter、RouterDC、Router-R1。

路由系统天然需要预先确定候选池,本文解决的是「候选池该由谁、怎么挑出来」这个上游问题。

协同过滤与矩阵补全

把模型×数据集的评分矩阵 Y 当成稀疏观测,通过低秩分解等方式补全未观察到的条目。归纳式方法(IMC、IGMC)引入边信息(side info)以支持新实体预测。DropoutNet 进一步通过随机丢弃 ID 强迫模型在测试时也能用上元数据。

ModelLens 借鉴了矩阵补全范式,以及 DropoutNet 的 ID-dropout 思想来同时支持「见过」和「未见」实体。

Plackett-Luce 排序似然与 BPR 损失

Plackett-Luce 把排名列表的概率分解为一系列 softmax 选择,是 listwise 排序的经典目标;BPR 用 sigmoid 拟合正负样本对的相对偏好,是 pairwise 排序的代表。两者都是 Learning to Rank 的核心组件。

ModelLens 同时使用这两种损失来同时捕捉全局排序结构和局部两两偏好,是其多目标训练的关键。

神经标度律(Neural Scaling Laws)

经验观察:模型对数参数规模与下游能力之间存在可预测的幂律关系,更大的模型在多数任务上更优。结构化先验(prior)将这一观察作为归纳偏置注入模型。

ModelLens 的结构化先验分支显式建模规模-家族效应,这正是它能零样本外推到新模型的核心原因之一。

研究动机

HuggingFace 上已托管数十万个预训练模型,横跨 BERT、LLaMA、ViT、Whisper、BGE 等 348 个架构家族和 NLP、视觉、语音、多模态等 2551 个任务,但当用户面对一个新的数据集/任务时,选哪个模型既耗时又困难。现有三条路径都只覆盖了「野外」场景的一小部分:AutoML 和模型路由都假设一个固定的、较小的候选池(几百到几千个);迁移性估计虽然 pool-agnostic,但每个候选都要在目标数据集上跑一遍前向传播,在 47K 模型的规模下算力上完全不可行;三者都还假设「单一任务族 + 单一评价指标」的同质评估,而现实是同一个 captioning 任务可以用 BLEU/ROUGE/CIDEr/METEOR,这些指标对同一模型的排名甚至会互相矛盾。

本文的目标是构建一个统一的「野外」模型推荐框架,输入是 (目标数据集描述, 候选模型元数据, 任务类型, 评价指标),输出是候选模型的相对排名,推荐过程完全不跑目标数据集,只利用公开排行榜上积累的 1.62M 条 (模型, 数据集, 指标, 分数) 交互记录。具体目标:在 47K 模型 × 9.6K 数据集的规模上做到 (1) 性能补全 τw 显著超越元数据基线 ZAP/Task2Vec, (2) 零样本泛化到 609 个未见数据集和 375 个未见模型, (3) 推荐出的 Top-K 候选池能把现有 5 种路由器的 QA 性能提升高达 81%。

与已有工作不同的是，作者的关键洞察是:公开排行榜上那些看起来碎片化、噪声大的模型-数据集交互记录,本身就是一个隐式的「能力图谱」——只要把每个实体投到一个从交互中学到的隐空间,「性能相关」的模型会自然聚到一起,而纯文本描述相似却性能无关的模型会被推开(论文用 MMMU 例子说明 DeBERTa-MNLI 虽语义近但性能差,不会被推荐)。这个角度把模型选择从「要么跑一遍」或「只能看小池子」的两难,转化为一个跨 47K 模型的协同过滤问题,且通过 ID-dropout 机制解决了传统矩阵补全的冷启动死结。

核心方法

直觉上,ModelLens 把「为某个数据集挑模型」类比为 Netflix 为用户推荐电影:不直接看用户对某部电影的评分,而是看大量「用户-电影-评分」交互记录学到一个潜在空间,这样即便来了个新用户或新电影,只要知道他/它的属性就能猜出偏好。在技术实现上,ModelLens 把每个模型和每个数据集都编码成多视图向量(学到的 ID、tokenized 名字、frozen 文本描述、规模、家族、任务、指标),然后把兼容性分数拆成两半:一个只依赖模型结构(规模+家族)的「先验项」,用来捕获神经标度律这种全局可预测趋势;一个依赖完整上下文(模型-数据集-任务-指标)的「残差交互项」,用来捕获细粒度的兼容性。两者相加后过一个可学习温度得到最终排序分数,训练时同时监督三个目标——listwise 的 Plackett-Luce、pairwise 的 BPR,以及一个把 z-score 当回归目标的 pointwise 损失,让学到的表示同时具备排序能力和绝对校准。

ModelLens 最核心的创新是「结构化先验 + 残差交互」的可加分解,这让它和已有方法产生本质区别。传统矩阵补全(MF、IMC、IGMC)只有协同过滤项,新模型没 ID 就完全没办法;DropoutNet 虽引入 ID-dropout,但只用元数据补 ID,无法显式建模「规模效应」和「家族归纳偏置」这两个有强经验规律的结构信号。ModelLens 把 $s_{prior}(m)$ 单独做成一个只在 (规模, 家族) 空间上工作的共享 MLP,即使模型全新,只要知道参数量级和架构家族,就能给出一个先验分数;残差分支只需解释「为什么这个模型在 A 数据集上比同规模同家族的 B 模型更好」,负担被显著降低。这种解耦也带来可解释性——分数可拆成「通用能力」和「任务特化亲和度」两部分,即 $\tilde{s} = s_{prior}(m) + s_{residual}(m,d,t,\mu)$。第二个关键设计是「ID-dropout」:训练时以 $p=0.1$ 把 ID 换为 [UNK],强迫网络同时学会「用 ID 记忆」和「用元数据推理」两种模式,推理时新模型自动走元数据路径,无需架构改动。

方法步骤详情

1) 数据:从 HuggingFace(三段式抽 .eval_results YAML/model card/README,1.64M 原始)、Open LLM Leaderboard(147K)、PapersWithCode(10.8K)汇总,去重得 1.62M 条 $(m,d,t,\mu,v)$;每组 z-score 归一化消除 metric 不可比。2) 编码:$h_m = [e_{id}^m \| e_{name}^m \| e_{desc}^m]$,$e_{desc}^m$ 为 Text-Embedding-3-small 的 1536 维冻结向量;$h_d = [e_{id}^d \| e_{desc}^d]$;附加 21 规模桶、348 家族、任务、指标的 64–256 维 embedding。3) 评分:先验 $s_{prior}(m) = MLP_{prior}([e_{size}^m \| e_{fam}^m])$;残差拼全部特征入 512 宽 MLP,接 pairwise 和 pointwise 头;$\tilde{s} = (s_{residual}+s_{prior})/\max(\tau,\epsilon)$。4) 训练:$\mathcal{L} = 0.5 \mathcal{L}_{list} + 1.0 \mathcal{L}_{pair} + 0.1 \mathcal{L}_{point}$,listwise 温度 10 Plackett-Luce,pairwise BPR,pointwise z-score MSE;ID-dropout $p=0.1$。5) 推理:对 $d^*$ 取 Top-K $\tilde{s}(m, d^*, t^*, \mu^*)$,新实体 ID 走 [UNK] 路径。

技术新颖性

技术新颖性体现在三个层面。第一个层面是把推荐系统里「先验+残差」的分解思路(类似 Click-Through Rate 预测中的浅层+深层模型)显式搬到了模型推荐,而不是简单套用矩阵分解;结构化先验这一支是全新的,在此之前没有工作把神经标度律和架构家族作为独立的归纳偏置。第二个层面是 ID-dropout 机制在 Model Recommendation 这个特定任务上的适配——DropoutNet 是为通用推荐设计的,本文把它和结构化先验绑定,让两种模式(memorization 和 semantic)真正在同一个共享骨干里共存并服务不同推理场景。第三个层面是评测协议的全面性:首次在 1.62M 真实噪声记录上同时跑「性能补全」「未见数据集」「未见模型」「未见家族」四层泛化测试,以及把推荐结果直接喂给 5 种路由器的端到端增益评估,这种「上游推荐→下游路由」的闭环评测是之前工作都没做过的。

Learned size and family priors from model–dataset interactions.
Figure 2: Learned size and family priors from model–dataset interactions.
Visualization of the learned model–dataset embedding space trained on interaction data.
Figure 4: Visualization of the learned model–dataset embedding space trained on interaction data.
Visualization of the model–dataset embedding space constructed using semantic (content-based) features only.
Figure 5: Visualization of the model–dataset embedding space constructed using semantic (content-based) features only.

实验结果

Q1(性能补全与冷启动):表 1 显示 ModelLens 2967 数据集 $\tau_w=0.868$,显著优于 ZAP(0.763)、Task2Vec(0.417);609 个未见数据集 $\tau_w=0.745$ vs ZAP 0.253;375 个未见模型 $\tau_w=0.402$ vs ZAP 0.307。Hit@1 未见数据集 0.266 vs ZAP 0.060 尤为悬殊,验证元数据分支对未实体的有效性。Q2(标准迁移性):表 2 在 8 个视觉基准上,无前向传播即平均 $\tau_w=0.369$,加特征后涨到 0.609,8 个数据集全跑赢 11 个 baseline。Q3(路由):表 4 跑 5 路由器 × 5 QA 基准,推荐池相对原始池:KNNRouter EM 0.227→0.411(↑81.1%)、MLPRouter 0.221→0.366(↑65.6%)、GraphRouter 0.263→0.397(↑51.0%)、Router-R1-Qwen 0.355→0.482(↑35.8%)。表 14 消融 listwise 最关键(去掉 $\tau_w$ 0.745→0.632)。图 3 案例:NGQA Top-1 比 GPT-4o-mini 提升 38%/50%/6%;RSVLM-QA $\tau=\rho=1.00$ 完美排序。A.8 把 13 个 LLM 家族从训练移除后 NDCG@10 仍 0.7231,仅比全量低 0.037,模型没过度依赖家族记忆。

Model ranking performance under new model and new dataset evaluation settings.
Table 1: Model ranking performance under new model and new dataset evaluation settings.
Seen datasets model selection performance measured by Kendall's weighted τw.
Table 2: Seen datasets model selection performance measured by Kendall's weighted τw.
Model pool replacement for NQ under comparable inference scale.
Table 3: Model pool replacement for NQ under comparable inference scale.
Routing performance w.r.t Exact Match. Each method is evaluated with its original pool and with new model pool (Recommended Pool).
Table 4: Routing performance w.r.t Exact Match. Each method is evaluated with its original pool and with new model pool (Recommended Pool).
Summary of the Model Recommendation in the Wild dataset.
Table 6: Summary of the Model Recommendation in the Wild dataset.
Ablation study on different loss combinations.
Table 14: Ablation study on different loss combinations.
Case studies on unseen datasets across domains. (Left) NGQA. (Right) RSVLM-QA.
Figure 3: Case studies on unseen datasets across domains. (Left) NGQA. (Right) RSVLM-QA.
Comparison of ablation results and feature importance analysis.
Figure 6: Comparison of ablation results and feature importance analysis.
查看结构化数据
任务指标本文基线提升
性能补全 (2967 datasets) Kendall τw 0.868 ZAP 0.763 / Task2Vec 0.417 / ModelSize -0.021 +13.8% over ZAP, +108% over Task2Vec
未见数据集冷启动 (609 datasets) Kendall τw 0.745 ZAP 0.253 / Task2Vec 0.227 +194% over ZAP, +228% over Task2Vec
未见模型冷启动 (375 models) Kendall τw 0.402 ZAP 0.307 / Task2Vec 0.078 +31% over ZAP, +415% over Task2Vec
视觉迁移性 (8 benchmarks avg) Kendall τw 0.609 (Feature Aug.) Model-Spider 0.300 / Know2Vec 0.155 / NCE 0.263 +103% over Model-Spider
KNNRouter 路由 (5 QA datasets avg) Exact Match 0.411 0.227 (原始池) +81.1%
MLPRouter 路由 (5 QA datasets avg) Exact Match 0.366 0.221 (原始池) +65.6%
GraphRouter 路由 (5 QA datasets avg) Exact Match 0.397 0.263 (原始池) +51.0%
Router-R1-Qwen 路由 (5 QA datasets avg) Exact Match 0.482 0.355 (原始池) +35.8%
PopQA 路由 (KNNRouter) Exact Match 0.537 0.222 +141.9%
RSVLM-QA 案例研究 Kendall τ / Spearman ρ 1.00 / 1.00 无 (真实排名) 完全排序一致,无误差
未见图层鲁棒性 (modern cohort hold-out) NDCG@10 0.7231 0.7605 (AllSeen 上限) 仅低 0.037(-4.9%),Hit@10 反而 +0.008

局限与改进

作者明确承认三点限制:第一,框架依赖公开排行榜,数据存在对热门模型/数据集的报道偏差,小众领域(低资源语言、罕见模态)覆盖稀疏,跨模态推荐质量会下降。第二,实验以开源模型为主,可能不反映闭源前沿系统的真实情况。第三,虽然通过 ID-dropout 一定程度上支持冷启动,但「未见图层」实验显示在 deepseek/olmo/gemma 这类引入架构重大变更的家族上,NDCG@10 仍有 -0.13 到 -0.17 的下降,说明仅靠规模+家族 embedding 抓不住「家族身份」信号。我个人观察到的隐含问题:z-score 归一化是组内的,绝对分数信息被完全丢弃,对需要绝对置信度的应用不友好;文本描述 embedding 用了 OpenAI text-embedding-3-small,系统事实上依赖闭源 API,可复现性打折;推荐分数虽然分了「先验+残差」两支,但 A.9 节的可视化是统计意义下的,单个 $(m,d)$ 对的「为什么推荐它」可解释性其实不强,论文也没有提供 case-level 的 attribution 工具。

独立分析的弱点

第一,零样本「家族外推」能力仍受限于训练时的家族分布——A.8 表明 deepseek/olmo/gemma 在 family hold-out 时 NDCG@10 跌 0.13-0.17,仅靠规模+描述 embedding 抓不住「架构革命性变化」,改进方向是引入架构细节(注意力变体、归一化方式、训练目标)的结构化特征。第二,纯元数据版本在视觉迁移性上虽胜过所有无前向传播基线($\tau_w=0.369$),但距离加特征增强版(0.609)还有不小差距,改进方向是允许推理时按预算选择性地对前 K 个候选跑前向传播,实现 hybrid 模式。第三,routing 端到端评测只在 QA 5 个数据集上做了,改进方向是补充到代码、数学、视觉问答等更多任务族,验证「上游推荐质量」与「下游路由增益」是否在所有任务上都正相关。第四,Together AI API 的「同规模」约束限制了替换选项,工业部署中可做更激进的探索。第五,LOO/Shapley 分析只展示静态贡献,缺乏对关键 (模型特征, 数据集特征) 组合的交互分析。

未来方向

作者提出的方向包括公平感知的推荐(避免对热门家族的过度优化)以及在欠代表域(低资源语言、长尾模态)上的鲁棒性。论文结果还可以延伸出几个有前景的方向:第一,把这个推荐分数当 reward signal 接入 RLHF 或 LLM-as-a-judge,实现模型+数据的协同优化;第二,把 ModelLens 拓展到「多目标推荐」——同时优化精度、延迟、能耗、许可,给出 Pareto 前沿;第三,利用学到的 47K 模型「能力剖面」做模型合并(model merging),为不同任务族合成专属模型;第四,把 9.6K 数据集的 embedding 当成「数据指纹」,反向用于「为这个模型找最能发挥它能力的数据集」的对偶问题,这在数据选择(data selection)领域有直接应用;第五,持续在线学习——每天新排行榜记录进来时增量更新 ID embedding,让推荐系统跟上模型发布节奏。

复现评估

代码开源:https://github.com/luisrui/ModelLens.git,Demo:huggingface.co/spaces/luisrui/ModelLens2026。数据从 HuggingFace、Open LLM Leaderboard、PapersWithCode 聚合,但 1.62M 交互数据集未单独发布下载链接,需复现者自跑抓取 pipeline。硬件门槛低:1 张 A6000 GPU,6-8 小时收敛,推理 5 分钟。超参作者已给完整配置(AdamW lr=1e-3、wd=1e-4、MLP 512 宽、dropout 0.02、ID-dropout p=0.1、list/pair/point 权重 0.5/1.0/0.1)及三种随机种子均值方差。最大复现障碍:文本 embedding 用了 OpenAI text-embedding-3-small,换开源 encoder(BGE/E5)会引入分布漂移;三段式 HuggingFace pipeline 涉及 LLM 解析 README 表格,prompt 未完全公开,导致 1.64M 记录无法 bit-exact 复现。Idea-level 低,Bit-exact 中等,门槛在数据抓取。

论文图表

Model recommendation in the wild. (Left) Atlas of ∼47K models and ∼9.6K datasets. (Right) Magnified view around MMMU dataset.
Figure 1: Model recommendation in the wild. (Left) Atlas of ∼47K models and ∼9.6K datasets. (Right) Magnified view around MMMU dataset.

左图把 47K 模型(圆点)和 9.6K 数据集(星号)按学习到的隐空间用 force-directed 算法投到二维平面,不同颜色代表 BERT/LLaMA/Seq2Seq/Vision/Speech/Embedding/Other 七大族,可以看到 NLP、Vision、Speech、Multimodal、Retrieval 等任务域自然聚成岛屿。右图以 MMMU 多模态基准为圆心放大,绿色 1-5 编号是 ModelLens 在该隐空间里的 Top-5 推荐(Gemini-2.5-Pro、GLM-4.6V、Seed-1.5-VL、Step3-VL-10B、Qwen3-VL-235B),而黑色实心点是纯文本描述最近邻,会给出 DeBERTa-MNLI、DiT-Classifier 这种语义近但性能远的相关项。

这是论文的核心可视化,直观证明「从交互学习的隐空间」比「文本描述空间」更符合「能力相似」语义,是 motivation 段最重要的证据。