发现模型仓库中的隐藏宝石 Discovering Hidden Gems in Model Repositories
用多臂老虎机算法高效发现HuggingFace上被埋没的高性能模型
前置知识
多臂老虎机 (Multi-Armed Bandit, MAB)
多臂老虎机是经典的序贯决策问题。想象你在赌场面对K台老虎机，每台的奖励分布未知，你的目标是在有限次数内找到期望奖励最高的那台（Best Arm Identification, BAI）。核心挑战是探索-利用权衡：是多试几台来缩小不确定性，还是集中在当前看起来最好的那台上？在本文中，每台「老虎机」就是一个候选模型，每次「拉杆」就是用一条查询（query）去评估模型的正确性，奖励是二元的（答对+1，答错0）。BAI问题的固定预算变体（Fixed-Budget BAI）是指在总查询次数B固定的约束下，尽量找到最佳模型。
本文将模型发现形式化为固定预算的BAI问题，这是整个方法框架的数学基础。理解MAB才能理解为什么作者选择Sequential Halving以及后续的改进动机。
Sequential Halving (SH) 算法
Sequential Halving是由Karnin等人在2013年提出的Best Arm Identification算法。它的工作方式像淘汰赛：第一轮给所有K个候选臂均匀分配少量预算，根据经验表现淘汰排名靠后的50%，剩下的进入下一轮并获得更多预算，如此反复直到只剩一个臂。SH的理论保证是其simple regret以 $O(\frac{K \log K}{B})$ 的速度衰减，其中B是总预算。然而标准SH在模型评估场景下存在效率问题：它每轮只淘汰一半，而实际上大量低质量模型用极少查询就能识别出来。
SH是本文方法的基础框架。作者在此基础上做了两个关键改进（相关采样和激进淘汰），理解原始SH才能看出这些改进的价值。
Model Tree（模型树）
Model Tree是由Horwitz等人（2025a,c）提出的概念，指从同一个基础模型（base model）派生出的所有微调版本构成的树状结构。树的根节点是基础模型（如Llama3.1-8B），子节点可以是全量微调（full fine-tune）或适配器（adapter，如LoRA），每个子节点还可以继续派生孙节点。使用Model Tree进行比较非常重要，因为同一树内的模型共享基础架构和参数量，推理成本相同，因此性能差异完全来自微调策略和数据的差异。
论文的核心发现（隐藏宝石的存在）和搜索方法都是在Model Tree的框架下展开的。只有在同一树内比较才能保证推理成本一致，从而使性能成为唯一的区分因素。
RouterBench
RouterBench是由Hu等人（2024）提出的综合基准测试，用于评估多LLM路由系统。它聚合了多个经典benchmark，包括ARC-Challenge（推理）、Winogrande（常识）、MMLU（多任务理解）、MBPP（代码生成）和GSM8K（数学推理）。本文为了在计算约束下评估2000+个模型，对RouterBench进行了子采样，随机选取2500条查询构成RouterBench_s，其中下标s表示子采样版本。这种综合评估方式能避免在单一任务上过度拟合地评判模型质量。
RouterBench_s是本文衡量模型「总体表现」的核心指标，同时也是发现隐藏宝石的主要评估工具。理解它的构成才能理解为什么某些模型被称为「综合最优」而非「单一任务最优」。
信息不对称与效率市场假说
本文提出了两个竞争性假说来解释模型仓库中的使用集中现象。效率发现假说（Efficient Discovery Hypothesis）认为下载量集中是因为用户能成功识别最佳模型，市场是高效的——流行即最优。信息不对称假说（Information Asymmetry Hypothesis）则认为最好的模型隐藏在长尾中，用户因为缺乏可靠信号（如模型卡片缺失、性能文档不完整）而被迫使用基础模型。本文通过实证研究证明后者成立：超过90%的被发现的隐藏宝石完全没有相关性能文档。
这两个假说构成了论文的理论对立面。证明信息不对称假说成立是论文的核心贡献之一，也是提出主动搜索方法的动机基础。
研究动机
公共模型仓库（如HuggingFace）托管了超过200万个模型，但使用极度集中：仅0.0015%的模型占据了95%的下载量，超过90%的模型每月下载量不超过15次。用户在选择模型时面临严重的实际问题：模型卡片（model card）经常不完整或完全缺失（Kahana等人2025b年的研究已证实这一点），文档质量参差不齐。在这种信息匮乏的情况下，绝大多数用户只能默认选择基础模型的官方版本（如Llama3.1-8B Instruct或Qwen官方指令微调版本），因为这些模型有品牌背书和社区口碑。但问题是，这种默认选择策略的有效性从未被严格验证过——我们不知道这些流行模型是否真的是各自树中的最佳选择。更重要的是，随着仓库规模持续增长，穷举评估所有候选模型在计算上完全不可行：如果要对数百万个模型在每个任务上做完整评估，可能需要数十亿次推理调用。
本文的目标是本文有双重目标。第一个是实证目标：系统性地调查流行模型是否真的是最佳选择，即验证「流行度=性能」这一隐含假设是否成立。第二个是方法论目标：如果发现流行模型并非最优（即存在被埋没的高性能模型），则设计一个计算可行的搜索算法来高效发现这些「隐藏宝石」。具体来说，作者希望在每个模型仅需少量查询（如50次）的极低预算下，就能从包含数百个候选模型的树中识别出顶级模型，将搜索速度比穷举评估提升50倍以上。
与已有工作不同的是，本文的独特切入角度在于它不试图建立新的模型排行榜或改进现有的benchmark方法，而是从一个全新的视角出发：将整个模型仓库视为一个待搜索的总体（population），从零开始进行最优模型发现。已有工作如Perlitz等人（2024）和Tamura等人（2025）专注于在预定义的排行榜上排序新模型，而本文要解决的是在一个全新的、没有先验排名信息的模型树中找到最佳模型。此外，作者将模型发现形式化为多臂老虎机的Best Arm Identification问题，这是一个纯探索问题——与标准MAB中最大化学习期间总奖励不同，本文的目标是在固定预算内最小化所选模型与真实最优模型之间的差距（simple regret）。这种形式化使得可以从丰富的BAI文献中借用理论工具和算法，并根据模型评估的特殊性质进行领域特定的优化。
核心方法
本文的方法可以用「淘汰赛」来类比。想象你要从几百个选手中找出最强的一个，但每次测试（让选手回答一个问题）都有成本。最笨的办法是让每个选手回答所有问题（穷举评估），但成本太高。聪明的做法是先快速淘汰明显弱的选手，把预算集中在区分顶尖选手上。具体来说，作者将模型发现形式化为多臂老虎机的固定预算Best Arm Identification问题：每个候选模型是一条「臂」，每次用一条查询评估模型是一次「拉杆」，奖励是二元正确性信号。核心算法基于Sequential Halving（SH），但做了两个领域特定的关键改进。第一个改进是相关采样（Correlated Sampling）：在每一轮中，所有存活模型必须在完全相同的查询集上评估，以消除因测试集难度不同带来的排名方差。第二个改进是激进淘汰调度（Aggressive Elimination Schedule）：在第一轮就将候选池从数百个模型压缩到固定100个，因为模型质量分布极度偏斜——绝大多数上传的模型质量很低甚至无法运行，用极少查询就能识别并淘汰。这种「快速失败」策略将更多计算预算留给了后续轮次中精英候选之间的精细区分。
本文的核心创新在于两个针对模型评估场景的领域特定优化，这两个优化使得标准SH算法从「理论上正确但实践中低效」变成了「实践上高效」。第一个创新是相关采样。标准SH对每条臂独立采样查询，但在模型评估中，benchmark查询包含大量简单题和少数极难题。如果模型A恰好被分到「简单查询集」而模型B被分到「困难查询集」，排名就会严重失真。通过强制所有模型在每一轮使用完全相同的查询集，方差被大幅压缩，排名估计更加可靠。第二个创新更为关键：激进淘汰调度。作者通过分析模型准确率的累积分布（Figure 4），发现了一个惊人的事实——在大多数任务和模型树中，超过85%的模型比最佳模型差5%以上，超过60%的模型差10%以上。这意味着第一轮只淘汰50%的候选（标准SH的做法）是严重浪费的，因为大部分模型可以用极少查询就判定为劣质。因此，作者将第一轮改为直接淘汰到固定100个模型（约占平均树大小的20%），并将60%的总预算分配给这第一轮以确保不错杀好的候选。后续轮次中每轮将每模型查询数翻倍，以精细化区分精英候选。这个调度方案在10查询/模型的极低预算下就能将平均排名从标准SH的69.3降到11.3（Qwen-3B树），效果极其显著。
方法步骤详情
算法的完整执行流程如下。输入是一个模型树 $T = \{m_1, ..., m_K\}$（包含数百个候选模型）、一个评估数据集 $D$（如RouterBench_s的2500条查询）和总预算 $B = N \times K$（其中 $N$ 是每模型平均查询数）。第一步是激进初始化：分配总预算的60%给第一轮，将所有 $K$ 个模型在相同的随机子采样查询集上评估，每个模型获得约 $0.6B/K$ 次查询（例如当 $N=10$ 时约为6次），根据经验准确率排名后只保留前100个模型，淘汰其余。第二步进入Sequential Halving主循环：对存活的100个模型，在每一轮中使用完全相同的查询子集进行评估（相关采样），每轮每模型的查询数按 $1.5\times$ 到 $2\times$ 的比例递增（具体调度见Table 4，如预算10时各轮为6→16→30→60→120次），每轮结束后按经验准确率排名淘汰底部50%的模型。第三步是终止与输出：当只剩一个模型或预算耗尽时停止，输出存活的最优模型。整个过程的查询复杂度约为 $O(B)$，而穷举评估需要对每个模型做完整benchmark评估（数千次查询），因此加速比可达50倍以上。
技术新颖性
本文的技术新颖性主要体现在三个方面。首先，与已有模型选择方法的根本区别在于问题定义：已有工作（如Perlitz等人的高效benchmarking、Polo等人的tinybenchmarks、Zouhar等人的查询选择）假设存在一个预定义的排行榜，目标是用更少查询估计新模型在排行榜上的位置。而本文不假设任何先验排名信息，要从零开始在一个全新的模型总体中找到最优——这是一个更困难也更实际的问题。其次，相关采样的引入虽然在MAB文献中并非全新（Thompson采样等方法也有类似思想），但将其与Sequential Halving结合用于模型评估场景是新颖的。模型评估的特殊性在于查询之间的难度差异巨大（从trivial到unsolvable），而标准SH的独立采样假设在这里会导致严重的方差膨胀。第三，激进淘汰调度的设计直接利用了模型质量分布的经验观察——绝大多数上传模型是低质量的——这是一个领域特有的先验知识，在经典MAB问题中通常不存在。这种「fail-fast」策略将标准SH的理论框架与实际模型仓库的统计特征结合，实现了显著的实践加速。
实验结果
本文的核心发现可分为两大部分。第一部分是关于隐藏宝石存在的实证发现。通过对4个主流模型树（Qwen2.5-3B、Qwen2.5-7B、Mistral-7B、Llama3.1-8B）中超过2000个模型的系统评估，作者发现：(1) 使用集中度极度偏斜，仅0.0015%的模型占95%下载量，超过90%模型月下载量≤15；(2) 在所有模型树中都存在隐藏宝石——严格优于最流行模型的不受欢迎微调版本。最突出的例子包括：Llama3.1-8B树中，nvidia/OpenMath2-Llama3.1-8B将GSM8K数学准确率从83.2%提升至96.0%（+12.8%绝对提升）；Mistral-7B树中，数学微调将GSM8K从40.6%提升至80.7%（+40.1%的惊人提升）；Qwen-3B树中，数学微调将GSM8K从83.5%提升至89.0%，逼近7B模型性能。(3) 超过90%的被发现隐藏宝石完全没有性能文档，使得基于文本的搜索无法发现它们。(4) 隐藏宝石在模型树中的位置分散，不聚集在根节点附近或可预测的分支上，这意味着基于流行度或图中心性的简单启发式搜索策略注定失败。第二部分是搜索算法的实验结果。在50查询/模型的中等预算下，本文方法在所有4个模型树上都达到了前3名的检索排名（Qwen-3B: Rank 3.5, Qwen-7B: Rank 3.6, Mistral-7B: Rank 1.6, Llama-8B: Rank 3.0），而均匀采样基线的排名分别为91.2、81.9、17.4和114.9。更重要的是，在极低预算（10查询/模型）下，大多数基线方法甚至无法超越流行基础模型的性能，而本文方法仍能找到显著更优的模型。消融实验证明两个改进都不可或缺：自定义调度器在10查询预算下将平均排名从69.3降到51.9（标准SH vs 使用自定义调度的SH），相关采样在50查询预算下进一步将排名从5.4降到3.5。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Qwen-3B GSM8K (数学) | Accuracy | 89.0% (gem) | 83.5% (流行基础版) | +5.5% |
| Qwen-3B MBPP (编码) | Accuracy | 73.3% (gem) | 68.6% (流行基础版) | +4.7% |
| Qwen-3B RouterBench (综合) | Accuracy | 73.2% (gem) | 71.6% (流行基础版) | +1.6% |
| Llama3.1-8B GSM8K (数学) | Accuracy | 96.0% (gem) | 83.2% (流行基础版) | +12.8% |
| Mistral-7B GSM8K (数学) | Accuracy | 80.7% (gem) | 40.6% (流行基础版) | +40.1% |
| Mistral-7B RouterBench (综合) | Accuracy | 69.6% (gem) | 55.6% (流行基础版) | +14.0% |
| 模型发现 (50 queries, Qwen-3B) | Mean Rank ↓ | 3.5 | 91.2 (Uniform), 41.0 (SH) | 排名提升26倍 vs Uniform |
| 模型发现 (50 queries, Llama-8B) | Mean Rank ↓ | 3.0 | 114.9 (Uniform), 29.9 (SH) | 排名提升38倍 vs Uniform |
局限与改进
作者在附录A中坦诚地列出了几个重要局限。首先是评估资源限制：虽然本文方法将搜索加速了50倍以上，但仍需要对所有模型进行少量查询评估，对于超大规模仓库（数百万模型）仍然不切实际。作者指出权重空间学习（weight-space learning）是一个潜在的替代方向，它直接从模型权重中学习语义表示来进行模型检索，完全无需推理评估，但目前该方向仅限于小规模网络和基准测试。其次是任务覆盖局限：本文只在数学、编码、问答和综合性能四类任务上发现了隐藏宝石，并未评估所有可能的任务领域。对于新任务，需要重新在该任务上评估所有模型才能发现隐藏宝石，这意味着没有免费的跨任务泛化。此外，从我的独立观察来看，论文的评估局限于相对较小的模型（3B-8B），对于更大规模模型（如70B+）是否同样存在隐藏宝石尚未可知——大模型的微调成本更高，社区产出的微调版本数量和质量分布可能截然不同。最后，论文使用RouterBench_s子采样（2500条查询）进行评估，这种子采样可能引入采样偏差，不同随机种子下的排名稳定性未被充分讨论。
独立分析的弱点
本文存在几个值得关注的弱点。第一，评估维度单一：所有评估都在英文任务上进行，而模型仓库中的大量微调是针对特定语言或特定地区的（如中文、日文、东南亚语言等）。论文中发现的一个隐藏宝石（aisingapore/Llama-SEA-LION-v3-8B-IT）就是面向东南亚语言的微调版本，其在英文综合任务上的优势可能无法代表其在目标语言上的真实能力。改进方向是构建多语言评估框架，在搜索过程中同时考虑多语言能力。第二，搜索粒度问题：当前方法在每个模型树上独立搜索，但实际使用中用户可能需要在多个模型树之间做选择（例如选Qwen-3B还是Llama-8B？）。跨树比较因架构和参数量不同而难以直接进行，需要额外的元搜索策略。第三，静态评估假设：论文假设模型性能在评估时是固定的，但实际中模型可能因为量化版本、推理框架、系统提示等因素产生显著性能差异。论文虽然尝试了有无系统提示两种配置，但未考虑更广泛的部署配置空间。第四，隐藏宝石的「隐藏」本质问题：论文证明了90%的隐藏宝石没有性能文档，但这并不意味着它们是不可发现的——随着社区对模型评估工具（如Open LLM Leaderboard）的使用增加，部分隐藏宝石可能会被逐渐发现。论文的时间点（2026年1月）捕捉到的是一个快照，长期来看这种信息不对称可能会自然缓解。
未来方向
未来研究方向可以从以下几个方面展开。首先是与权重空间学习的结合：作者在局限性中提到权重空间学习是一个有潜力的方向，可以完全避免推理评估的成本。一个自然的研究方向是训练一个模型评估器（model evaluator），它以模型权重为输入、预测性能为输出，然后用本文的搜索算法在预测性能上进行高效筛选，形成「粗筛+精排」的两阶段流水线。其次是跨任务泛化：目前发现隐藏宝石需要在目标任务上重新评估所有模型。如果能建立模型能力的可迁移表示（例如通过元学习），使得在某个任务上发现的隐藏宝石的知识可以迁移到相关任务上，将大幅降低搜索成本。第三是与模型合并（model merging）的结合：已发现的隐藏宝石可以作为模型合并的候选源，通过TIES-Merging、DARE等方法将多个隐藏宝石的优势组合起来，可能产生比任何单一微调更强的模型。第四是动态搜索策略：当前方法假设固定的模型池，但模型仓库在不断增长。设计增量式搜索算法，当新模型上传时能高效判断其是否为隐藏宝石，将使系统更具实用价值。
复现评估
从复现角度来看，本文的可复现性较好但有一定门槛。代码方面，论文提供了项目主页链接（https://jonkahana.github.io/hidden_gems），但未明确说明是否开源了完整代码。数据方面，评估使用的模型均来自HuggingFace公开仓库，理论上可复现，但论文指出许多模型因各种不兼容问题（缺失权重张量、库版本不匹配等）无法下载或运行，实际可评估的模型数量少于预期（Table 3显示各树实际评估的模型数在280-650之间）。算力方面，虽然论文方法大幅降低了每模型的评估查询数（50次 vs 完整benchmark的数千次），但仍需对数百个模型进行推理评估，这需要相当可观的GPU资源。此外，论文对每个实验重复100次以报告均值，这种统计严谨性值得肯定但也增加了复现成本。总体而言，复现难度中等偏高，主要瓶颈在于算力需求和模型兼容性问题。
论文图表
该图由三部分组成：中央展示Llama3.1-8B模型树，节点大小反映下载量（对数刻度），被圈出的为发现的隐藏宝石——不受欢迎但显著优于流行基线的模型。左上角展示累积下载曲线，显示使用极度集中于极少数顶级模型。右下角显示超过90%的模型月下载量≤15，处于几乎无人探索的状态。
这张图是论文核心论点的视觉化呈现：模型仓库存在严重的效率问题，绝大多数模型被忽视，而其中包含真正优秀的隐藏宝石。它同时展示了问题的规模（下载集中度）和解决方案的成果（发现的宝石位置）。