我们是否测试得太多？面向大语言模型高效评测的基准压缩综述 Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models

综述按类别逐步展开并逐一说明机制。静态单基准压缩：Content-Based（10 篇）只用题目数据或抽样规则，如 PromptEval 把固定预算摊在稀疏的 prompt×示例矩阵上用 IRT 恢复性能分布，Scales++ 按认知需求描述聚类后以组权重加预测估计全分；Historical-Response（26 篇）复用先前模型的响应矩阵，如 AnchorPoints 按源模型置信度聚类取加权 medoids，tinyBenchmarks 拟合多维 IRT 模型并选择覆盖题目参数空间的锚点，CollabEval 均匀采样目标单元后做矩阵补全并用已测单元的残差校正；Target-Conditioned（15 篇）先用当前模型的廉价信号固定主批次，如 TailoredBench 用小共享探针集找答案相似的源模型再扩展出定制的 medoids 子集，MAD 只把语义差异大的候选对交给人类比较。Cross-Benchmark（13 篇）联合压缩套件：metabench 跨基准选信息锚点以恢复各基准分数与套件均值，SimBA 以整个基准为单元做分数矩阵补全，Agent PACE 用便宜源任务预测昂贵 agent 基准。自适应评估：Adaptive Item Selection（21 篇）如 Fluid 每答一题更新 IRT 能力估计并选 Fisher 信息最大的下一题，FAQ-PAI 在保留均匀探索的同时收窄分数区间并按抽样概率校正；Sequential Decision and Stopping（15 篇）如 Flash-HELM 逐级扩大样本直到排行榜层级稳定，CELEUS 用 e-process 构造 anytime-valid 区间并按目标精度停止，TrustEscalate 把不确定判断升级给更强 judge 或人类、无人合格时弃权。分析基础类（18 篇）研究冗余来源、IRT 可信度、judge 校准与 harness 敏感性。

新颖性体现在四个层面。第一，问题定义的形式化：明确压缩的对象是"复现预定义全评估的结果"，用 $L(\hat{\theta}_{comp},\hat{\theta}_{full})\le\varepsilon$ 与 $C_{comp}<C_{full}$ 这对约束统一了以往各自表述的 119 篇工作，并区分"恢复完整结果表"与"估计统计目标（如期望准确率）"两种情形，还指出保持排名不必恢复绝对均值、找出赢家不必恢复每个分数。第二，压缩与修复的范畴切分：像 OPD、BENCHMARK2 这类删除可猜测或有害题目、允许分数排名改变的工作被归为 repair 而非 compression，必须作为新基准单独验证——这一区分在既往文献中普遍缺失。第三，生命周期成本视角：以 $C^{(K)}_{comp} = C_{build} + C^{(K)}_{refresh} + \sum_{k=1}^{K} C_{run,k}$ 把构建与刷新成本显式纳入，据此指出 Historical-Response 与 Cross-Benchmark 是"高构建、低边际"的资产型方法，Target-Conditioned 每个目标都要付探针或 judge 信号成本，自适应方法用串行轮次换针对性。第四，验证方法学：提出 model/family/time/task 四种 holdout 以及 replay/live/prospective 执行方式的区分，使"压缩方法在新模型上是否仍可靠"成为可操作的检验。

弱点一：纯定性比较。Tables 13–16 用 Medium/High/Variable 等定性等级描述各家族的成本与风险，没有把各论文实际报告的误差指标（如 MAE、排名翻转率、覆盖率）归一化汇总，读者仍无法回答"tinyBenchmarks 与 SparseEval 在 MMLU 上谁的恢复误差更小"这类问题。改进方向：作者在 D.6 已铺垫统一报告清单，下一步应建立标准格式（单元数、成本单位、误差、holdout 类型）并做定量元分析。弱点二：可操作性信息不足。目录显示只有少数方法有验证过的 GitHub 仓库（如 tinyBenchmarks、PromptEval、metabench、Fluid 等），多数 2026 年的 arXiv 方法无从直接使用，也没有"给定信息条件与目标输出，用哪个工具"的可执行决策脚本。改进：发布可交互的分类数据库与选型向导。弱点三：对失败模式的讨论停留在家族级别（如"历史模式不迁移时失效"），缺少按模型代际、基准类型细分的定量脆弱性证据，例如历史响应法在多大性能跃迁下失效并无数字。改进：组织跨论文的标准压力测试（新家族模型、时间外推、任务外推）。弱点四：自适应与序贯方法的统计前提（IRT 校准需要足够多模型、CELEUS 需要有界分数、FAQ-PAI 依赖方差与抽样概率条件）分散在附录 E，实践者容易误用；综述虽给出检查清单（D.6），但未给出违反前提时的定量后果。改进：为每类前提配套敏感性分析示范。

作者在第 7 节提出三个方向：第一，跨模型与时间的泛化——压缩子集多由现有模型的响应记录选出，面对新模型家族和更强的新模型可能失去覆盖与区分度，需要更可迁移的压缩方法、对新发布模型的例行测试，以及覆盖度或区分度衰退时的周期性/持续刷新机制；第二，更新既有基准——把压缩与基准修复结合，发布去除有缺陷、冗余、过易、弱区分题目的再校准版本，既降本又提升强模型间的区分度，同时保留全集结果以便与历史排行榜对齐；第三，发布前压缩（compression by design）——新基准在构建阶段就集成压缩，公开版本从一开始就是紧凑而有信息量的题集，而非先发布庞大冗余基准再事后压缩，从而同时加速评测与模型迭代、降低计算与环境成本。基于本文成果还可延伸：建立社区共享的模型—题目响应矩阵基础设施，摊薄 Historical-Response 方法的高构建成本；为压缩评估制定类似 CONSORT 的标准化报告清单（强制报告节省单元、holdout 设计、近距打平处理），使定量综合成为可能；把 anytime-valid 序贯统计深度集成进主流评测 harness；探索压缩感知的 leaderboard 制度，官方同时报告全集与压缩分数及其一致性与不确定性。

作为综述，其"复现"意味着复现文献收集与分类过程，这方面透明度较高。附录 F 完整给出检索策略：语料截止 2026 年 8 月 9 日，覆盖 Google Scholar、Semantic Scholar、OpenAlex、arXiv、ACL Anthology、OpenReview、ACM DL、IEEE Xplore、PMLR 九个数据库，并辅以 Crossref、DBLP 做元数据核验；查询族分四类（评估对象、效率与子集、预测与恢复、自适应与测量）；从种子论文出发对每篇入选论文做迭代扩展（提取新关键词、回溯参考文献与前向引用、追踪作者与项目），循环直到最终全库清扫不再有新论文；用 DOI、arXiv 号与归一化标题去重，两名作者筛查标题摘要，模糊时审读方法与实验章节；入选标准要求"从预定义全评估出发、减少或自适应分配执行单元、用保留证据恢复分数/排名/决策且降本为主要贡献"，并显式排除训练数据选择、推理加速等边界工作。附录 C 提供形式化的七叶子类别规则（Table 10）、固定顺序决策路径（C.3）与边界案例（C.5，两位作者独立评审后讨论裁定）。未随文发布代码或结构化数据库文件，逐篇标注仍需大量人工判断且有主观空间；但规则足够明确，配合附录 A 的完整目录，第三方大体可以审计其分类。整体复现难度中等：检索过程可复现，分类判断有裁量余地。