基准测试是难度上的经验测度 Your Benchmark Is an Empirical Measure Over Difficulty
把基准视为难度轴上的经验测度，形式化度量失配与覆盖缺口，并自动出题填补缺口
前置知识
经验测度（empirical measure）
把一组离散观测点变成一个数学上的'分布对象'：给定点集 $\{z_1,\dots,z_n\}$，经验测度定义为 $\nu_B = \frac{1}{n}\sum_{i=1}^n \delta_{z_i}$，即每个观测点放一个等权重的点质量（Dirac delta）。任何函数 $f$ 关于它的'积分'就是简单平均 $\int f\,d\nu_B = \frac{1}{n}\sum_i f(z_i)$。它是有限样本对潜在真实分布的离散逼近。
本文的核心概念转换：基准测试的平均分就是这个测度意义下的积分 $S_B(\theta)=\int s_\theta(z)\,d\nu_B(z)$，整个理论框架都建立在'基准=难度轴上的经验测度'这一视角上。
1-Wasserstein 距离（W1）
度量两个概率分布差异的 optimal transport 距离：$W_1(\nu,\mu)=\inf_{\pi}\int|u-v|\,d\pi(u,v)$，即在所有把 $\nu$ 的质量搬到 $\mu$ 的耦合方案中，找总搬运量乘以搬运距离最小的方案。一维情形下它等价于两条累积分布函数（ECDF）之间的 $L_1$ 面积差，直觉是'把一个分布整形为另一个需要移动多少概率质量、移多远'。
论文用它定义第一个诊断指标 DDM（难度分布失配度），并用定理 2.1 证明 $W_1$ 直接控制基准分数相对目标分布的扭曲上界 $L\cdot W_1$，是'失配可量化'的数学基础。
项目反应理论（IRT，1PL 模型）
源自心理测量学的框架。单参数逻辑斯蒂（1PL）模型给每个模型 $j$ 一个能力参数 $\theta_j$、每道题 $i$ 一个难度参数 $b_i$，建模答对概率为 $\Pr(Y_{ij}=1)=\sigma(\theta_j-b_i)$，其中 $\sigma$ 是 logistic 函数。直觉：只有能力超过题目难度的模型才倾向于做对。参数通常用极大似然或贝叶斯 MCMC 从'模型×题目'的作答矩阵中拟合出来。
要把题目放到连续难度轴上，必须先可靠估计每道题的难度。论文用 12 个能力跨度从 1.7B 到 397B 的 LLM、每题最多 32 次 rollout 收集作答矩阵，再用 IRT 估计难度，是全部后续分析的数据基础。
Minimax 检测边界与检验功效
假设检验语言中，功效（power）指正确拒绝零假设的概率。minimax 框架考虑最坏情况：零假设 $H_0$（无改进）vs 备择假设 $H_1$（存在某个宽 $w$ 的连续难度区间、性能提升至少 $a$）。检测边界是区分'任何检验在最坏情况下都无功效'与'重复采样后功效趋于 1'的临界宽度。这是非参数检测理论中的经典相变刻画方式。
定理 2.3 证明基准最大间隙 $G(B)$ 恰好是这个渐近 minimax 检测边界：局部改进宽度不超过 $G(B)$ 时再多次重试也检测不到，超过则最终可检测。这把'覆盖缺口有害'从直觉升级为严格数学结论。
Lipschitz 连续条件
若函数 $\Delta$ 满足 $|\Delta(z_1)-\Delta(z_2)|\le L|z_1-z_2|$，则称其为 $L$-Lipschitz，$L$ 是它的最大变化斜率上界。直觉是：难度位置挪动一点点，模型性能差最多变化 $L$ 倍的距离，排除了性能在难度轴上剧烈跳变的病态情形。
定理 2.1 的扭曲上界 $|D_B-D_\mu|\le L\,W_1(\nu_B,\mu)$ 依赖此条件：模型性能随难度变化越平缓（$L$ 越小），难度分布失配造成的排名扭曲上限就越小。
研究动机
基准测试看起来很简单：在题目集上跑模型、取平均分。这个分数支撑着两大用途——排行榜上比较模型、训练过程中监控进展。但平均分隐含地取决于题目在难度轴上的分布，论文用两个具体场景揭示其失效方式。场景一（排行榜）：两个模型在简单题上表现接近（A=72.1，B=72.4，几乎打平），但在难题上差距悬殊；若基准把大部分权重压在简单题上，而使用者关心的难度分布更侧重难题，则同一对模型在目标分布下的得分是 A=61.8、B=68.9，差距明显——基准给出'难以区分'的错误结论。场景二（训练监控）：模型在某段局部难度区间取得了实质改进，但基准恰好在该区间没有题目，导致基准分数几乎纹丝不动（训练前 64.2 → 训练后 64.6），真实的进度（目标分布下 64.2 → 68.9）完全被错过，可能造成有希望的训练运行被过早丢弃、算力被错误分配。
本文的目标是论文要把'基准分数依赖题目难度分布'这一模糊直觉变成可严格分析的对象：把基准重新表述为难度轴 $[0,1]$ 上的经验测度，从而将两类失效形式化为可定义、可计算的问题——度量失配（measure mismatch，基准难度分布与目标难度分布不一致，扭曲模型比较甚至导致排名翻转）和覆盖缺口（coverage gap，难度轴上无题目的区间使局部训练改进不可检测）。在此形式化之上，论文的目标有三：提出两个带理论保证的诊断指标（基于 Wasserstein 距离的 DDM 和最大间隙 Max Gap）；对 25 个主流基准、7 个领域做实证审计，量化这两类问题的普遍程度；最后把诊断转化为行动，提出 BenchFill 算法用 LLM 改写现有题目来定向填补最大的覆盖缺口。
与已有工作不同的是，此前关于基准质量的研究主要关注数据污染（测试题泄漏进训练数据）、解码/提示/实现细节的敏感性、表面措辞改动导致的脆弱性、信噪比视角的评估可靠性等，都是把基准当作题目集合来检查'题目本身是否可靠'。没有工作把基准整体抽象成一个分布对象、在难度轴上研究其'形状'的匹配度与覆盖度。本文的独特切入是测度论视角：基准分数 $S_B=\int s_\theta\,d\nu_B$ 本质上是模型性能函数关于基准诱导测度的积分，于是比较失真可归因于 $\nu_B$ 与目标分布 $\mu$ 的耦合失配，训练监控失效可归因于离散测度对无题区间的零质量。据作者所知，这是首次将度量失配与覆盖缺口识别并形式化为基准评估的两个基本失效模式。
核心方法
整体思路分三步：先把题目放上难度轴，再用两个指标诊断，最后自动修补。第一步难度估计：题目难度是相对模型能力的，不能只看多少模型做错，还要看做错模型有多强。论文收集 12 个 LLM（参数量 1.7B 到 397B，按 Text Arena 排行榜分层抽样）的成功率矩阵（智能体基准用 HAL 的闭源模型结果），用 1PL IRT 模型 $\Pr(Y_{ij}=1)=\sigma(\theta_j-b_i)$ 经贝叶斯 MCMC 拟合出题目难度，配 7 项拟合前后诊断与留一法检验。第二步指标计算：难度归一化到 $[0,1]$，基准诱导经验测度 $\nu_B=\frac{1}{n}\sum_i\delta_{z_i}$，计算 DDM $=W_1(\nu_B,\mu)$（$\mu$ 默认取均匀分布）与最大间隙 $G(B)=\max_j(z_{(j+1)}-z_{(j)})$。第三步用 BenchFill 定向填补最大缺口。理论侧三条定理支撑：$W_1$ 控制分数扭曲与排名翻转、无先验时均匀目标是唯一 maximin 选择、$G(B)$ 是局部改进检测的精确渐近 minimax 边界。
核心概念跃迁是把基准从'题目集合'升格为'难度轴上的经验测度'：基准分数改写为积分 $S_B(\theta)=\int s_\theta(z)\,d\nu_B(z)$，两模型观测差 $D_B=\int\Delta(z)\,d\nu_B(z)$ 显式分解为模型侧函数与基准侧测度的耦合——排行榜结论不只由模型决定，也由测度对难度轴的质量分配决定。由此两大失效模式获得严格定义：度量失配是 $\nu_B\ne\mu$ 造成的积分偏差，定理 2.1 证明若 $\Delta$ 为 $L$-Lipschitz 则 $|D_B-D_\mu|\le L\,W_1(\nu_B,\mu)$，且 $|D_\mu|>L\,W_1$ 时不可能排名翻转；覆盖缺口是离散测度在无题区间上零质量的后果，定理 2.3 证明 $G(B)$ 恰为检测宽 $w$ 局部改进的 minimax 边界（$w\le G(B)$ 时功效恒为 $\alpha$，超过则重复评估使功效趋于 1）。定理 2.2 进一步证明：在不知道性能差异出现在哪个难度区间时，均匀分布是唯一最坏情况保底差异等于平均差异 $\rho$ 的 maximin 目标，为默认均匀参照提供原则性辩护。
方法步骤详情
诊断流水线（Fig. 2）：（1）收集作答矩阵——12 个分层抽样 LLM 每题最多 32 次 rollout，智能体基准用 HAL 的 15–66 个闭源模型结果；（2）MCMC 拟合 1PL IRT，通过共 7 项拟合前后诊断（$\hat R$、ESS、发散转移数等），LOO 确认 12 个模型足够；（3）难度归一化后计算 DDM（即与等容量均匀参照的 $W_1$）、Max Gap 与 Top-5 间隙和。BenchFill（Fig. 4）：目标难度取最大间隙中点 $z^\star=(z_L+z_R)/2$，记忆库 $\mathcal M$ 初始化为邻近既有题目；每轮检索难度最接近 $z^\star$ 的 4 个父题，改写模型（MiniMax-M2.7，温度 1.0）参照至多 16 个邻近题目-难度对，每父题改写 4 个子题；难度标注经在线 IRT 校准（固定已估能力 $\hat\theta_j$ 仅拟合新题 $\hat b$）；GPT-5.4 裁决有效性，有效子题回写 $\mathcal M$ 使搜索自适应；至多 8 轮后选 $|\hat z-z^\star|$ 最小者，人工审核后插入。
技术新颖性
第一，形式化层面的新颖：把基准作为经验测度是概念创新，度量失配与覆盖缺口两个失效模式及配套理论保证（扭曲上界、均匀目标的 maximin 唯一性、检测相变边界）均为首次给出，先前 IRT 在 LLM 评测中的应用（如 Easy2Hard-Bench）只给题目打连续难度标签，未上升到分布层面的诊断理论。第二，诊断指标的理论最优性：定理 2.3 证明 Max Gap 不是启发式代理而是精确渐近 minimax 检测边界，这类'指标=理论边界'的严格对应在基准审计文献中罕见。第三，BenchFill 与已有 LLM 出题/增强方法的本质区别在于'难度定向 + 记忆库进化搜索'：不是独立地批量生成新题，而是维护带难度标注的记忆库，每轮检索最接近目标的父题、提供局部难度参照列表，且每轮生成的子题经在线 IRT 校准后回写记忆，使搜索向 $z^\star$ 自适应收敛；对照实验显示其目标难度平均偏差仅 0.005，远优于预算匹配的 best-of-N 均匀父题策略的 0.048。第四，实证广度：25 个基准、7 个领域、统一 IRT 标尺加严格诊断流程，并公开全部难度估计供社区复用。
实验结果
实证审计（Table 1）：25 个基准中 10 个 DDM ≥ 0.10，即难度分布平均需搬运全量程 10% 以上才能对齐均匀参照，最高 ScienceQA 0.178，其后 MATH-500 0.164、MBPP+ 0.163、IFEval 0.159 等。覆盖缺口同样普遍：8/25 个基准 Max Gap ≥ 0.10（AMC23 0.217 最大，AIME24 0.179、HumanEval 0.165 等）；9/25 个基准 Top-5 间隙和 ≥ 0.30，AIME24/25/26（0.502/0.492/0.507）和 AMC23（0.539）最高，而这些恰是 RLVR 训练监控最常用的基准。164 题的 HumanEval、250 题的 BBH-5 objects 也有显著缺口，说明缺口并非小基准伪影。BenchFill（Table 2）：8 个基准上各仅插 3 题，Top-3 间隙和降低 21.09%–38.88%（平均 32.67%，best-of-N 基线 17.52%，Oracle 上界 35.06%），AIME 三个基准达到 Oracle 水平；目标难度平均偏差仅 0.005（基线 0.048）。落地成果：AMC23 40→80 题、AIME24 30→50、AIME25 30→52、AIME26 30→53，最大间隙分别降至 0.022、0.027、0.030、0.031，ECDF 贴近均匀参照。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 基准难度分布失配诊断（7 领域 25 个基准） | DDM = W1(ν_B, 均匀参照)，阈值 0.10 标记严重失配 | 诊断出 10/25 个基准 DDM ≥ 0.10，最高 ScienceQA 0.178，MATH-500 0.164，MBPP+ 0.163，IFEval 0.159 | 与同题量经验均匀分布比较（无先验时的中性目标） | 首次系统量化：近半数基准隐式难度加权强烈，其排行榜结论需谨慎解读 |
| 基准局部覆盖缺口诊断 | Max Gap 与 Top-5 间隙和（阈值 0.10 / 0.30） | 8/25 个基准 Max Gap ≥ 0.10（AMC23 0.217、AIME24 0.179）；9/25 个基准 Top-5 Sum ≥ 0.30（AIME26 0.507 最高） | 理想覆盖：均匀分布下 n 题的期望相邻间隙约为 1/n | 揭示 AIME/AMC 系列（RLVR 监控标配）Top-5 间隙和高达 0.49–0.54，局部训练进度可能完全不可见 |
| 缺口填补：Top-3 最大间隙（8 个基准） | Top-3 Gap Sum 相对降低（%），越高越好 | BenchFill 每基准仅插 3 题，降低 21.09%–38.88%，平均 32.67%，AIME 三个基准达到 Oracle 水平 | 预算匹配 best-of-N 均匀父题改写基线平均 17.52%；Oracle 上界 35.06% | 较基线提升约 15 个百分点，距 Oracle 仅差约 2.4 个百分点 |
| 生成题目命中目标难度的精度 | Target Dev（选题难度与目标难度 $z^\star$ 的平均绝对偏差），越低越好 | BenchFill 平均 0.005（各基准 0.002–0.007），全部低于 0.01 | best-of-N 基线平均 0.048（最差 Gaokao2023en 0.152） | 约降低 90%，证明进化搜索 + 在线 IRT 校准能精准命中指定难度 |
| 发布填补版数学基准 | 题量扩展与最大间隙缩减 | AMC23 40→80 题（0.217→0.022）、AIME24 30→50（0.179→0.027）、AIME25 30→52（0.158→0.030）、AIME26 30→53（0.119→0.031） | 原始基准（AMC23 最大间隙 0.217，AIME24 0.179） | 最大间隙缩至原来的约 1/5–1/10，ECDF 显著贴近均匀分布，全部人工审核 |
局限与改进
作者承认或隐含的局限：其一，难度估计依赖选定的 12 个模型组合，IRT 难度是相对标尺，模型群体变化（新模型涌现、旧模型过时）会导致难度估计漂移，需要重估；智能体基准更是完全依赖 HAL 第三方数据，可控性低。其二，默认目标分布取均匀只是'无先验时的中性缺省'（定理 2.2 的 maximin 辩护），并非任何应用场景下最优；有明确应用难度配比时应改用定制 $\mu$。第三（我的观察）：理论结论建立在 1-Lipschitz 假设和 1PL IRT 的单维难度假设上——真实模型性能函数可能在难度轴上非平滑跳变，且题目难度可能是多维的（不同能力维度），论文虽在附录对比了 2PL 与多维 IRT，主框架仍是单维。第四，BenchFill 每基准只填 3 个最大间隙、每间隙 1 题，对 Top-5 间隙和的改善有限（未报告该指标变化），且改写以现有题为模板，可能在语义/主题上向模板题倾斜，引入新的分布偏差；有效性裁判依赖 GPT-5.4，仍需人工审核兜底。第五，DDM ≥ 0.10、Max Gap ≥ 0.10 等阈值是经验性标记，并非理论推导的'有害'判据。
独立分析的弱点
弱点一：单维相对难度标尺。1PL 假设难度是标量且标尺仅由 12 个模型锚定，模型能力整体上移时同一批题的归一化难度会整体压缩，Max Gap 与 DDM 的纵向可比性受损；改进方向是建立随模型代际滚动的再校准协议并报告置信区间。弱点二：均匀目标可能误导。对已知应用难度构成的使用者，以均匀 $\mu$ 算出的 DDM 高并不代表基准不好；改进方向是把 DDM 与'目标分布选择器'工具化，让用户输入自己的应用难度配比。弱点三：BenchFill 覆盖与多样性有限。每间隙只插 1 题、只攻 3 个最大间隙，新题聚类在 $z^\star$ 附近可能制造新的微小间隙；改写自邻近父题，跨主题多样性无保障；改进方向是每间隙插入多题、加多样性正则、扩展到全部显著间隙。弱点四：理论与实践落差。定理 2.3 是最坏情况结论，真实训练改进很少恰好完全藏进最大间隙，论文未量化'因缺口漏检'的实际发生率；改进方向是用含局部改进的真实训练日志做漏检频率实证。弱点五：人工审核是扩量瓶颈，数百题规模时成本陡增，可探索多裁判投票加一致性校验以降低依赖。
未来方向
作者提出的延伸：把附录 D 的基准校准算法（移动题目使分布逼近目标 $\mu$）系统化；用填补版基准支持未来模型的更可靠评测。可延伸方向：（1）动态基准维护——把难度估计、指标监控、缺口填补做成随模型迭代自动触发的流水线，让基准'活'在当前模型能力区间上；（2）难度感知训练监控——用 $G(B)$ 给训练曲线加注：若某局部难度区间性能骤升而基准无题，直接报警'此处进度不可见'，或单独采样该区间题目做进度探针；（3）多维难度——从单维走向多维（推理深度、知识广度、指令复杂度），把 $W_1$ 推广到多维 optimal transport 或按维度分解 DDM；（4）逆应用——本文证明'哪里有题哪里才可测'，反之可依据目标能力曲线主动设计训练数据的难度分布，服务课程学习；（5）理论深化——放松 Lipschitz 假设至分段平滑或稀疏跳变类，刻画非平滑 $\Delta$ 下的失配与检测边界；（6）跨基准组合——把常用套件（如 MATH+GPQA）拼成组合测度，用本文指标评估套件级覆盖，指导该补哪个基准。
复现评估
复现条件较好。开源情况：代码在 GitHub（ASTRAL-Group/benchmark-difficulty-measure2026），25 个基准的难度估计随代码发布，四个填补版数据集在 HuggingFace（Yifan99/BenchFill），另有项目网站。数据侧：非智能体基准需复跑 12 个 LLM × 每题最多 32 次 rollout（按 Text Arena 排行榜分层抽样，1.7B–397B），成本主要是推理调用，对 30–5000 题量级的基准总体可控；智能体基准直接用公开 HAL 结果，无需自跑闭源模型。IRT 拟合用贝叶斯 MCMC 配 7 项诊断，单基准单机数小时可完成。BenchFill 需 MiniMax-M2.7 改写模型与 GPT-5.4 有效性裁判，每间隙至多 8 轮 × 4 父题 × 4 子题，约百余次生成调用，在线校准需每候选题各模型 $K_j$ 次试验（主要算力开销），最后必须人工审核——这是最难自动化的环节。总体：诊断部分（指标计算）复现容易，BenchFill 部分中等难度且需人工质控；诊断流程完备使结果可信度较高。
论文图表
双栏示意图。左栏：模型 A 与 B 在简单题上几乎打平（基准分布权重集中于简单题，得分 72.1 vs 72.4，'难以区分'），但在难题上差距明显；目标难度分布更侧重难题，目标得分 A=61.8、B=68.9，结论反转。右栏：训练前后模型在某局部难度区间取得实质改进，但该区间恰好无基准题目（覆盖缺口），基准分数仅从 64.2 变到 64.6，真实进度（目标分数 68.9）被完全错过。
这是全文的问题陈述：两个失效模式（度量失配、覆盖缺口）的直观原型，理解了这张图就理解了论文要解决什么，后续所有形式化都是对这两幅图的数学化。