当模型比评审者更聪明时，基准测试就会饱和 Benchmarks Saturate When The Model Gets Smarter Than The Judge

方法分为五个关键步骤。第一步，LaTeX可编译性检查：对所有4,428道题的LaTeX代码进行自动编译检查，修复非法字符、错误的$使用和杂乱内容，使用Python脚本自动转换为有效LaTeX代码。第二步，人工内容审查：一位PhD级数学家两次审查编译后的PDF文件，检查每道题的可解性和可验证性。对于缺失信息的题目，通过人工搜索或GPT-5.1尝试补充，并添加图片到数据文件夹。第三步，分类标记：为每道题添加标签（image、proof、estimation、should delete），标记不适合精确答案评判的题目。最终得到647道编辑过的题目（14.6%）和247道标记为非标准的题目（5.6%）。第四步，双评判器评估：使用Omni-Judge和GPT-5 mini（采用类似提示）分别评估五个模型在Omni-MATH-2-Filtered（n=4,181）上的表现。第五步，分歧标注：对338个分歧中的100个进行抽样，由两位专家标注错误原因，分为五类：未能评估等价性、未遵循指令、数据集错误、错误提取、不明确。

本文的技术新颖性体现在多个方面。第一，提出了评测三元组框架，将基准饱和从单一的模型能力问题重新定义为数据集-模型-评判者的交互现象，这是一个重要的概念性突破。第二，创建了Omni-MATH-2数据集，这是首个对奥林匹克级别数学基准进行如此深入内容层面审查的公开数据集，不仅修复了格式问题，还识别并标记了结构性不兼容的题目。第三，首次量化了评判者选择对模型排名的系统性影响，发现不同评判器可以导致模型排名的显著变化（如Gemini 3 Pro的排名变化）。第四，通过大规模专家标注（100个分歧样本）提供了评判者错误的详细分类学，揭示Omni-Judge主要因无法评估数学等价性而失败。第五，发现评判者分歧与问题难度呈正相关，特别是在Tier 4（最难）问题上分歧最大，这对未来基准设计有重要启示。

本文存在几个可以改进的弱点。第一，评判器对比仅限于两个（Omni-Judge和GPT-5 mini），缺乏更广泛的评判器多样性。改进建议：测试更多类型的评判器，包括专门训练的数学评判器、不同规模的模型、以及基于形式化验证的方法。第二，专家标注的样本量有限（100/338），可能遗漏某些错误类型。改进建议：扩大标注规模，或开发自动化的评判器校准方法。第三，没有对参考答案进行系统性修订，这可能导致部分评判分歧的误判。改进建议：建立完整的参考答案验证流程，包括多专家交叉验证。第四，实验仅在数学推理任务上进行，未验证结论在其他领域（如代码生成、自然语言推理）的泛化性。改进建议：在多个领域的基准上重复实验。第五，没有探索评判器集成或委员会方法在减少评判者噪声方面的效果。改进建议：实验多评判器投票机制，量化集成对评判一致性的影响。

本文作者提出了几个重要的未来研究方向。第一，推荐采用允许非二元结果的评测设计（如部分分数、不确定性、弃权），而不是简单的正确/错误二分法。第二，建议在争议项目上采用多评判器框架，通过集成或委员会方法提高评判鲁棒性。第三，鼓励研究者系统性检查基准数据，因为本文的审查发现大多数失败模式无法被自动检查捕获。基于本文成果可延伸的方向包括：开发自动化的评判器校准方法，使用本文的标注数据训练更好的数学评判器；研究评判者分歧与模型置信度的关系，探索是否可以利用模型的不确定性信号来识别评判器可能出错的情况；将三元组框架应用到其他领域的基准评测中，验证结论的普遍性；开发基于形式化验证的数学答案等价性判断方法，从根本上解决评判者能力不足的问题。

本文的复现性较好。数据集Omni-MATH-2已在Hugging Face公开发布（https://huggingface.co/datasets/martheballon/Omni-MATH-2），包含清洗后的精确答案子集和标记的非标准问题子集。所有其他数据和复现代码在Zenodo（https://doi.org/10.5281/zenodo.18380309）和GitHub（https://github.com/MartheBallon/Benchmarks-saturate-when-the-model-gets-smarter-than-the-judge）公开。复现难度中等：数据集清洗需要PhD级数学专家的人工审查，这是最耗时且难以自动化的部分；评判器评估部分可以通过API调用复现，但需要访问GPT-5 mini和Omni-Judge；专家标注需要领域专家参与。算力需求方面，主要成本在于LLM API调用，而非大规模训练。数据集规模适中（4,428道题），便于完整复现实验。