HLE-Verified：对「人类终极考试」的系统性验证与结构化修订 HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam
对HLE基准进行两阶段验证修订，消除标注噪声后模型准确率平均提升7-10个百分点
前置知识
Humanity's Last Exam (HLE)
HLE是由Center for AI Safety等机构推出的高难度多学科评测基准，包含2500道跨数学、物理、化学、生物医学、计算机科学和人文学科的题目。该基准专门用于评估前沿大语言模型在极端难度问题上的推理能力，其结果常被用于支撑关于模型推理深度和泛化能力的科学声明。HLE已成为当前衡量模型极限能力的重要参考标准之一。
本文的核心工作就是对HLE进行系统性验证和修订，因此理解HLE的定位、结构和使用方式是理解本文动机和贡献的前提
标注噪声与基准缺陷
基准数据集中的标注噪声指题目表述模糊、参考答案错误、推理过程与最终答案不一致等问题。这些噪声并非随机分布——当题目处于模型决策边界附近时，即使是微小的表述不一致也会不成比例地影响聚合指标。在高难度基准中，噪声问题尤为严重，因为大量题目本身就在模型能力边界上，标注误差可能导致系统性偏差而非随机误差。
本文的核心论点就是HLE存在大量标注噪声，且这些噪声会系统性地扭曲模型评估结果，因此理解标注噪声的机制和影响是理解本文价值的关键
Calibration Error（校准误差）
校准误差衡量模型自我报告的置信度与其实际正确率之间的一致性。本文使用平滑L2校准误差估计器 $\text{Cali Err} = 100 \times \text{calib\_err}(c, y; p=2, \beta=100)$，其中 $c \in [0,1]$ 是模型解析出的置信度，$y \in \{0,1\}$ 表示是否答对。校准良好的模型应该在说'80%确信'时确实有80%的概率答对。
本文发现基准缺陷不仅影响准确率，还会系统性地扭曲模型置信度，使得校准误差也不能反映模型真实能力
Component-wise Verification（组件级验证）
将每道题目分解为三个可独立验证的组件：问题陈述（Problem）、最终答案（Answer）和推理过程（Rationale）。每个组件独立进行有效性判定（有效/无效/不确定），而非将题目有效性视为单一的二元属性。这种多维度验证框架能够精确定位缺陷来源，避免因聚合标签掩盖不同组件间的异质性。
这是本文方法论的核心创新，组件级的细粒度验证使作者能够构建包含19个缺陷类别的精细分类体系
pass@k 采样
一种评估模型稳定性的方法：对同一题目生成k个独立采样的回答，统计是否至少有一个正确。本文在Stage I中使用pass@8采样来生成独立的解答尝试，将提取的最终答案与参考答案在固定等价协议下进行比较（数值容差、格式归一化、语义等价）。这提供了可复现性证据，并标记出人机极端分歧的题目。
pass@8采样是验证流程中模型辅助检查的关键环节，用于识别可能存在标注问题的题目
研究动机
随着前沿语言模型的快速发展，高难度评测基准在追踪进展、验证能力声明和塑造科学讨论中扮演核心角色。Humanity's Last Exam (HLE) 已成为评估模型在数学、科学、工程和人文学科上表现的广泛采用基准。然而，随着基准难度增加，标注完整性的重要性也随之提升。当大量题目处于模型决策边界附近时，问题陈述或参考答案中即使是微小的不一致也会不成比例地影响聚合指标。近期独立审计和社区审查已发现HLE数据集中存在大量噪声：包括模糊或定义不清的问题陈述、错误的参考答案、以及推理过程与最终答案之间的不一致（White, 2025; lhl, 2026; red, 2025）。具体而言，Stage I验证发现，在2500道题目中，仅有668道（26.7%）被验证为完全正确无需修改，说明HLE中超过73%的题目存在某种程度的问题。更严重的是，这种噪声并非均匀分布——Physics领域仅有30%的问题陈述被判定为有效，而Math和Biology/Medicine超过92%的问题陈述有效，这表明噪声在不同学科间存在系统性差异，可能对跨模型比较引入学科特定的偏差。
本文的目标是本文的具体目标是构建HLE-Verified——一个经过严格验证和部分修订的HLE版本，通过透明的组件级验证协议和精细的错误分类体系，使基准的有效性变得可审计、可追溯。具体而言，作者希望：（1）对HLE的每道题目进行组件级二元验证，分离出高置信度的金标准子集；（2）对可修复的缺陷题目进行系统性修订，保留原始评估意图；（3）为无法确定有效性的题目提供结构化文档，支持社区后续改进；（4）量化验证修订对下游模型测量的影响，证明基准缺陷如何扭曲报告的准确率和校准结果。
与已有工作不同的是，本文的独特切入角度在于将基准构建视为一个持续的'数据基础设施'问题，而非一次性的任务设计问题。传统基准建设强调任务设计和数据收集，但对发布后的系统性验证、结构化审计和透明修订协议关注较少。本文首次提出将题目有效性视为多维度而非二元的属性——同一道题目的问题陈述可能完全有效，但参考答案错误或推理过程有缺陷。此外，本文不是简单地丢弃有问题的题目，而是将无法确定有效性的题目作为明确的知识论类别保留下来，附带不确定性来源标签和所需专业知识标签，为社区驱动的持续改进提供路线图。这种'保守纳入'原则（优先最小化假阳性而非最大化数据集规模）以及将模型置信度作为噪声诊断工具的思路，都是区别于以往工作的独特视角。
核心方法
本文的方法遵循一个两阶段的验证-修订工作流。直觉上，如果把每道题目想象成一个由问题、答案和推理三个组件构成的'产品'，那么Stage I就像是质量检验员对每个组件进行独立检查，筛出完全合格的产品（金标准子集）；Stage II则像是对不合格但可修复的产品进行返工，由两组独立的维修工提出修复方案，再由主管裁决最终版本。对于无法修复的产品，则附上详细的缺陷报告而非直接丢弃。整个流程的核心设计原则是保守——只有当问题陈述和最终答案都被判定为无问题且不存在高风险歧义时，题目才能进入金标准子集。这种设计反映了基准发布中固有的不对称风险：纳入有缺陷的题目会引入系统性评估偏差，而排除可能有效的题目主要减少覆盖面但不会引入测量误差。
本文的核心创新点在于组件级验证框架和19类缺陷分类体系。与以往将题目有效性视为整体二元属性不同，本文将每道题目分解为Problem、Answer和Rationale三个语义上独立的组件，每个组件独立判定有效/无效/不确定。这使得缺陷归因可以精确定位到特定组件——一道题目可能呈现完全有效的问题陈述，但由于错误的答案键或结构上不可验证的推理过程而不适合评估。此外，本文区分了两种不同类型的'无效'：明确的逻辑错误（如错误答案）和知识论不确定性（如歧义表述），前者可以通过修订修复，后者需要专家进一步判断。这种多维度、细粒度的验证方式使得聚合项目级标签不会掩盖缺陷结构中的大量异质性。
方法步骤详情
Stage I（组件级验证）包含三个子步骤：（1）外部领域专家独立筛查：独立的学科专家对每道题目的问题、答案和推理进行组件级二元判定并附注简要说明；（2）模型辅助复制检查（pass@8）：调用多个前沿多模态求解器在pass@8采样下生成独立解答尝试，提取的最终答案在固定等价协议下与参考答案比较（数值容差、格式归一化、语义等价）；（3）内部专家裁决：综合外部专家判定和模型辅助证据做出保守纳入决策。Stage I产出668道金标准题目。Stage II（系统性修订）针对判定为有缺陷但可修复的题目：（1）双轨独立修复：两个独立专家团队按标准序列提出修正（问题修复、解答修复、答案修复），每项附变更说明；（2）模型辅助提案：多模型采样生成额外修复候选和稳定性检查；（3）最终专家裁决：内部专家在客观保留、正确性和最小必要编辑原则下选择或合成规范修复版本。Stage II产出1143道修订认证题目。剩余689道题目作为文档化的不确定集合发布。
技术新颖性
本文的技术新颖性体现在多个层面。首先，这是首个对HLE进行系统性事后验证的工作，将基准维护从'发布即完成'转变为'持续基础设施'的理念。其次，组件级验证框架将每道题目的有效性分解为三个独立维度，与传统整体二元标签相比，能够精确定位缺陷来源并进行针对性修复。第三，19类精细缺陷分类体系（5类问题级、10类推理级、4类答案级）为基准缺陷提供了标准化描述语言，使得跨领域、跨组件的缺陷模式分析成为可能。第四，保守纳入原则——纳入金标准需要有效性被积极证明而非仅凭未检测到缺陷——这与机器学习中常见的'默认有效'假设形成鲜明对比。第五，将不确定题目作为明确的知识论类别保留并附结构化元数据（不确定性来源标签、所需专业知识标签），为社区驱动的持续改进提供了路线图。最后，本文首次系统性地量化了模型置信度与基准噪声之间的关联，发现置信度可作为噪声诊断工具。
实验结果
本文在8个前沿模型上进行了全面评估，核心发现如下：（1）修订子集上的大幅准确率提升：在被修订的题目子集上，所有模型都表现出显著的正向偏移，表明原始基准中的缺陷题目系统性地压制了测量性能。具体而言，Gemini-3-pro提升+29.94个百分点，GPT-5.2提升+38.04个百分点，Claude-Opus4.5提升+33.96个百分点，Grok-4.1 fast-reasoning提升+34.82个百分点，Claude-Opus4.6提升+30.13个百分点，DeepSeek-V3.2提升+39.58个百分点。（2）全集上的稳定提升：在完整数据集上，准确率分别提升Gemini-3-pro +7.78、GPT-5.2 +9.95、Claude-Opus4.5 +8.80、Grok-4.1 +9.06、Claude-Opus4.6 +7.85、DeepSeek-V3.2 +11.50、Qwen3-Max-Thinking +8.20个百分点。（3）校准误差持续降低：修订后校准误差在修订子集上显著下降（如GPT-5.2从63降至28，DeepSeek-V3.2从70降至28，Grok-4.1从83降至47），表明缺陷题目不仅影响准确率还扭曲置信度评估。（4）跨学科改善不均匀但一致为正：Physics和Biology/Medicine改善最大，Chemistry和Computer Science/AI改善较小但仍然清晰。（5）置信度作为噪声诊断：在问题陈述有错误的题目子集上，修复后所有模型的置信度一致性提升（+1.83至+11.08个百分点），而全集偏移接近零，表明模型能感知题目噪声。（6）排行榜重排：修订后模型相对排名发生变化，例如在原始HLE上Gemini-3-pro领先Claude-Opus4.6约1.4个百分点，而在HLE-Verified上差距扩大到1.4个百分点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HLE全集评估 | Accuracy (Pass@1 avg5) | Gemini3-Pro 48.2%, GPT-5.2 43.3%, Claude-Opus4.6 46.8%, Claude-Opus4.5 38.8%, Qwen3-Max-Thinking 38.2%, Qwen3.5-Plus 37.6%, DeepSeek-V3.2 36.4%, Grok-4.1(Fast) 29.0% | 原始HLE: Gemini3-Pro 40.42%, GPT-5.2 33.35%, Claude-Opus4.6 38.95%, Claude-Opus4.5 30.00%, Qwen3-Max-Thinking 30.00%, Qwen3.5-Plus 28.7%, DeepSeek-V3.2 24.90%, Grok-4.1(Fast) 19.94% | 全集平均绝对准确率提升7-10个百分点，DeepSeek-V3.2提升最大达11.50个百分点 |
| HLE修订子集评估 | Accuracy (Pass@1 avg5) | GPT-5.2 52.48%, Gemini3-Pro 48.93%, Qwen3-Max-Thinking 48.48%, Claude-Opus4.5 48.16%, DeepSeek-V3.2 47.45%, Claude-Opus4.6 50.16%, Grok-4.1(Fast) 43.07% | 原始HLE子集: GPT-5.2 14.44%, Gemini3-Pro 18.99%, Qwen3-Max-Thinking 14.2%, Claude-Opus4.5 14.20%, DeepSeek-V3.2 7.87%, Claude-Opus4.6 20.03%, Grok-4.1(Fast) 8.25% | 修订子集上平均提升30-40个百分点，DeepSeek-V3.2提升最大达39.58个百分点 |
局限与改进
尽管本文工作具有重要价值，仍存在以下局限性。首先，验证范围受限：Stage II修订聚焦于正确性可可靠裁决和独立复现的领域（数学、物理、化学、生物医学和计算机科学），人文学科和社会科学等验证边界模糊或依赖主观惯例的领域被保守地归入不确定集合，这意味着约689道题目（27.6%）的有效性仍未解决。其次，修订过程仍依赖专家判断：尽管引入了模型辅助检查，最终的正确性判定仍基于专家评估，专家招募的偏见（主要来自研究密集型大学和研究机构的硕博研究人员）可能影响判定结果。第三，模型辅助证据的局限性：pass@8采样被用作诊断信号而非裁决权威，高求解器一致性不被视为正确性的证明，这在一定程度上限制了自动化验证的规模化。第四，不确定集合的处理：保留689道题目作为不确定集合虽然提供了透明度，但这些题目的最终命运仍悬而未决，社区能否有效利用这些元数据进行改进尚待验证。第五，评估局限性：实验仅在文本子集上进行，未涵盖多模态题目，且仅使用avg5准确率作为主要指标，未深入分析其他评估维度。第六，保守纳入原则虽然减少了假阳性，但也意味着一些实际有效的题目可能被排除，降低了数据集的覆盖面。
独立分析的弱点
本文存在几个值得注意的弱点。首先，验证协议的可扩展性问题：当前流程高度依赖人工专家，两个独立供应商团队和内部裁决专家的参与使得验证成本高昂且耗时，难以扩展到更大规模的基准或更频繁的更新周期。改进方向可以是开发更可靠的自动化验证工具，减少对人工的依赖。其次，19类缺陷分类体系虽然精细，但部分类别之间存在重叠（如S3经验正确性违反与S8欺骗性相似），在实际标注中可能导致判定不一致。可以考虑简化分类体系或增加更明确的判定边界。第三，不确定集合的处理过于保守：689道题目中许多可能只需要领域特定知识就能判定，但当前协议将它们全部标记为不确定。可以建立分领域、分优先级的后续验证路线图。第四，模型置信度分析虽然有趣，但仅展示了相关性而非因果关系——置信度提升可能是因为题目更清晰，也可能是因为修订后的答案更符合模型的训练分布。第五，缺乏对修订本身质量的系统性评估：虽然有post-repair cross-audit，但修订过程引入新错误的可能性未被充分量化。
未来方向
本文为多个研究方向打开了大门。作者提出的方向包括：建立持续维护的验证流程，配合结构化元数据和清晰的贡献指南，使考试风格基准更加稳健；利用不确定集合的不确定性来源标签和所需专业知识标签，组织社区驱动的结构化改进。基于本文成果可延伸的方向包括：（1）将组件级验证框架推广到其他基准（如MMLU、GPQA等），构建跨基准的统一质量保证体系；（2）开发基于模型置信度的自动噪声检测工具，在基准发布前自动标记可疑题目；（3）研究基准噪声对RLHF/DPO等训练方法的影响，因为这些方法也依赖于人类偏好标注的正确性；（4）探索'活基准'（living benchmark）范式，建立持续更新、版本控制的基准基础设施；（5）将验证协议扩展到多语言和多文化场景，研究标注噪声在不同语言间的分布差异。
复现评估
本文在复现性方面表现优秀。数据已完全开源，托管在HuggingFace（https://huggingface.co/datasets/skylenage/HLE-Verified），包含完整的修订元数据、缺陷标注和不确定性描述。评估使用了HLE官方推荐的系统提示词和每个模型的默认解码配置，减少了评估协议的歧义。校准误差计算遵循HLE官方评估代码。然而，完整复现验证过程存在较高门槛：需要大量领域专家参与（硕博研究人员级别的学科专家），两个独立供应商团队和内部裁决专家的协调成本高；验证覆盖数学、物理、化学、生物医学和计算机科学五个领域，需要跨学科专业知识；pass@8采样需要调用多个前沿多模态模型，计算成本不菲。此外，模型评估使用了5次独立rollout的平均准确率（avg5），这进一步增加了计算开销。对于仅验证本文实验结果（而非复现验证过程），由于数据和评估协议已开源，复现难度较低。
论文图表
