$OneMillion-Bench：语言智能体距离人类专家还有多远？ \$OneMillion-Bench: How Far are Language Agents from Human Experts?
用400个价值超百万美元的专业任务，评测语言智能体的真实职业能力
前置知识
Rubric-based Evaluation（评分量规评估）
Rubric是一种结构化的评分标准体系，由领域专家针对每个任务手工设计，包含多个评分维度（如事实准确性、逻辑连贯性、格式规范性等），每个维度有明确的权重和得分标准。与简单的对/错二元判断不同，Rubric可以对开放式回答进行多维度、细粒度的专业评估。在本基准中，每个任务平均包含约16-19条评分规则，权重范围从-20到+10，支持正向加分和负向扣分。
本文的核心评测机制就是基于Rubric的Expert Score，理解Rubric才能理解为什么评测结果能反映真实专业能力而非表面正确性
Vanilla Model vs Search Agent vs Deep Research Agent
Vanilla Model指不使用任何外部工具的基础语言模型，直接基于自身知识回答问题；Search Agent是在Vanilla Model基础上配备网络搜索工具的智能体，可以实时检索外部信息；Deep Research Agent是专门针对复杂推理和长上下文研究任务优化的专用系统（如o3-DeepResearch），具有更长的推理管道和更复杂的检索策略。本文评测了35个模型，分为这三类进行对比。
三类系统的性能差异揭示了工具使用和推理管道对专业任务的真实影响，是理解实验结果的关键分类框架
Negative Rubrics（负向评分规则）
这是本文提出的独特评分机制。传统评测只关注"做对了什么"，而Negative Rubrics专门惩罚"做错了什么"——包括违反行业规范、产生事实性幻觉、不遵循指令要求等不当行为。权重范围为-20到+10，意味着严重的专业违规可能导致大幅扣分甚至总分归零。这种设计模拟了真实职业场景中的"一票否决"逻辑。
Negative Rubrics是本文区别于其他基准的核心创新之一，它使得评测更贴近真实职业环境中的合规要求
Expert Score与Pass Rate
Expert Score是本文定义的核心指标，计算公式为所有正向Rubric加权得分之和除以所有正向Rubric权重之和，结果裁剪到[0,1]区间。Pass Rate则是一个二元成功指标，定义为Expert Score ≥ 0.7的任务占比。两者互补：Expert Score反映整体专业水平，Pass Rate揭示有多少任务达到了"专业合格"的门槛。
论文发现许多模型Expert Score中等（~45-50%）但Pass Rate很低（<25%），说明模型普遍存在"浅层满足"而非"深度达标"的问题
Test-time Scaling（测试时扩展）
指在推理阶段通过采样多个候选答案（k个样本）来提升性能的策略。pass@k衡量k次采样中至少有一次正确的概率（能力上限），pass^k衡量k次采样结果的一致性和可靠性（实际可用性）。实验发现随着k增大，pass@k呈对数增长但pass^k趋向于零，说明多次采样虽然提高了"命中"概率，但引入了不一致性。
这一发现揭示了当前智能体在高不确定性场景下的可靠性瓶颈，对实际部署有重要参考价值
研究动机
当前语言模型的能力评估主要依赖考试式的结构化任务（如GPQA、MMLU-Pro等选择题基准），这些任务已经逐渐趋于饱和，无法区分模型在真实专业场景中的实际价值。以金融领域为例，一位高级精算师在IFRS 17框架下审核寿险准备金估值，需要综合检索权威资料、处理相互矛盾的证据、应用领域特定规则并做出受约束的决策——这些能力无法通过回答一道选择题来衡量。同样，M&A律师验证跨境合规条款、投资分析师构建高压估值模型等工作，其正确性不仅取决于最终答案，更取决于推理过程的专业合规性。现有基准的另一个问题是缺乏经济价值维度的量化：我们无法回答"一个语言智能体到底能创造多少经济价值"这个对产业界至关重要的问题。此外，现有评测大多以英文为中心，忽略了不同语言和文化背景下专业任务的显著差异（如中国的网络安全法、医保政策、会计准则等），导致评测结果无法反映智能体在特定地区的实际应用能力。
本文的目标是本文旨在构建一个能够真实衡量语言智能体在高经济价值专业场景中表现的基准测试。具体目标包括：(1) 创建400个覆盖金融、法律、医疗、自然科学和工业五大领域的高难度开放式任务，每个任务都有真实的经济价值估算（总计超过100万美元）；(2) 设计基于Rubric的多维度评分机制，不仅评估最终答案的正确性，还评估推理过程的专业合规性、事实准确性和逻辑连贯性；(3) 提供双语评测（200个英文任务+200个中文任务），中文任务针对中国大陆的具体法规和行业标准进行设计而非简单翻译；(4) 通过经济价值量化框架，将智能体的"能力"转化为可解释的经济产出量——一个智能体能完成价值多少美元的专业工作。
与已有工作不同的是，本文的独特切入角度在于"经济价值驱动的评测"。与现有工作相比，它抓住了三个被忽视的关键点：第一，现有基准（如SWE-bench、τ-bench等）主要衡量任务完成度，但缺乏对推理过程质量和专业合规性的约束，而本文通过Negative Rubrics机制专门惩罚违反行业规范的行为；第二，现有基准（如GPQA、HLE等）是孤立的问答任务，而本文模拟真实的职业工作流程，要求智能体进行多步骤推理、证据检索和约束决策；第三，本文首次将评测结果与经济价值直接挂钩——通过估算高级专家完成每项任务所需的时间乘以市场时薪，将智能体的得分转化为"创造了多少经济价值"，这为产业界提供了直观的决策依据。此外，本文发现了一个被忽视的现象："近似失败"（near-miss）——许多模型在Expert Score上达到中等水平，但Pass Rate极低，说明模型普遍存在"广泛但浅层"的能力分布，这在选择题基准中完全不可见。
核心方法
本文的方法论可以用一个类比来理解：如果把现有的AI基准比作"高考"，那么$OneMillion-Bench就是"职业资格考试+实际工作绩效评估"。高考考的是知识点和解题技巧，而职业评估考的是在真实工作场景中综合运用知识、遵守行业规范、完成高质量交付物的能力。具体来说，本文构建了一个三阶段的数据标注流水线：首先由领域专家设计任务、参考答案和评分标准；然后由同领域第二位专家进行同行评审；最后通过对抗性验证确保任务具有足够的区分度。在评测层面，本文采用基于Rubric的Expert Score机制，包含正向加分和负向扣分，评估维度涵盖事实信息、分析推理、指令遵循和结构格式四个方面。经济价值的计算则通过专家时间估算乘以市场时薪来实现，美国数据来源于Bureau of Labor Statistics的OEWS统计，中国数据参考一线城市的劳动力市场工资指导线。
本文最核心的创新是将"经济价值"引入AI评测框架。传统基准只回答"模型答对了多少题"，而本文回答的是"模型能创造多少经济价值"。这一转变看似简单，实则深刻：它将评测从抽象的能力度量转化为具体的经济产出量化。具体实现上，每道题都由2-3位高级专家估算完成时间，再乘以该领域专家的市场时薪（考虑了福利开销的1.3倍系数），最终所有400道题的总价值超过100万美元（Global子集为$1,008,370，CN子集为¥921,832）。另一个关键创新是Negative Rubrics机制——传统评测只奖励正确行为，而本文惩罚不当行为（如违反行业规范、产生幻觉、不遵循指令），权重范围为-20到+10。这模拟了真实职业场景中的合规逻辑：一个答案可能在某些方面得分很高，但如果存在严重的专业违规（如错误引用法规、忽略安全约束），总分可能被大幅拉低甚至归零。这种"不对称惩罚"机制使得评测结果更能反映智能体在高风险专业场景中的可靠性。
方法步骤详情
$OneMillion-Bench的构建分为三个严格阶段。阶段一：任务创建。一位具备深厚领域知识的专家设计一个专业任务，包括：(1)制定一个具体的、具有实际价值的任务描述；(2)撰写一份展示完整推理过程的参考答案；(3)定义一套详细的评分Rubric。关键的对抗性验证步骤在此阶段执行：任务会被多个前沿智能体测试，只有当多个智能体未能达到预定义的通过阈值时，任务才会被保留，确保任务具有区分度。阶段二：同行评审。同子领域的第二位专家对任务进行独立评审，检查任务的清晰度、领域专业性、设计原则对齐以及Rubric的公平性，两位专家通过反复讨论和修改达成共识。阶段三：解决与修订。对于存在风险或前两位专家无法达成共识的情况，第三位专家进行独立审计和必要的调整。此外，通过双向截断进一步筛选数据集：下界消除——移除所有智能体都能轻松解决的低难度任务；上界审查——对智能体普遍得分极低的任务进行二次审查，区分真正的性能不足和不合理的"不可能任务"。最终形成400道题，覆盖5个宏观领域、37个子领域和86个三级类别。
技术新颖性
与现有基准相比，$OneMillion-Bench在技术层面有四个显著区别。第一，与GPQA、MMLU-Pro、HLE等选择题基准不同，本文的任务是开放式而非封闭式的，答案不能简单地用对/错来判断，需要多维度的专业评估。第二，与SWE-bench、τ-bench等任务导向的智能体基准不同，本文不仅衡量任务完成度，还通过Rubric约束推理过程的质量和专业合规性——一个"完成"但"不合规"的答案仍然会得到低分。第三，与LiveTradeBench等真实环境评测不同，本文在保持生态效价的同时保留了诊断分辨率——通过细粒度的Rubric可以精确归因到具体的推理、检索或决策错误。第四，本文的经济价值量化框架是独有的，它将评测结果从抽象分数转化为具体的经济产出，使得产业界可以直接回答"部署这个智能体能带来多少价值"的问题。此外，本文的双语设计（非翻译对等）也是独到之处——中文任务针对中国大陆的具体法规和行业标准进行设计，测试智能体的本地化知识能力。
实验结果
本文对35个模型（17个Vanilla模型、17个Search Agent、3个Deep Research Agent）进行了全面评测，揭示了多个重要发现。首先，Claude-Opus-4.6在两个语言子集上均取得最佳Vanilla和Search性能：Global子集上Vanilla Expert Score为55.0%，Search提升至63.0%（+8.1%），经济价值从$439.2k提升至$483.8k；CN子集上Vanilla为55.8%，Search提升至64.5%（+8.7%），经济价值从¥350.3k提升至¥470.2k。GPT-5.4-High紧随其后，Global上Vanilla和Search均为55.0%，但Pass Rate从31.5%提升至38.0%。其次，Web搜索并非总是有益的：Hunyuan-2.0-Thinking在Global上Expert Score从34.7%降至30.2%，Pass Rate从8.5%降至3.0%；Step-3.5-Flash也出现轻微下降。这表明检索可能引入噪声或冲突证据，当智能体无法有效识别和整合证据时反而会损害表现。第三，Deep Research Agent并未超越强大的Search Agent：o3-DeepResearch的Global Expert Score为46.3%，低于Claude-Opus-4.6(63.0%)和GPT-5.4-High(59.2%)的Search版本。第四，"近似失败"现象普遍存在：许多模型Expert Score达到~45-50%，但Pass Rate远低于25%，说明性能分布为"广泛但浅层"——部分满足许多Rubric，但很少完整达到专业合格标准。第五，领域难度非均匀且跨语言稳定：Finance领域对多数模型最具挑战性（如Claude-Opus-4.6在Global Finance上Vanilla仅42.1%），而Healthcare和Law领域对顶级系统得分较高。第六，Rubric类型分析显示：模型在Structure and Formatting和Instructions Following上得分最高，而在Factual Information和Analytical Reasoning上最弱；Web搜索对Factual Information和Analytical Reasoning的提升最显著（Claude-Opus-4.6在Factual Information上从54.0%提升至66.5%），但Instructions Following是最脆弱的能力——一些模型在Search下反而下降（如Kimi-K2.5从70.1%降至63.4%）。第七，时间敏感性分析表明：所有模型在时间无关问题上表现最好，在弱敏感问题上次之，在敏感问题上最差；Claude-Opus-4.6和GPT-5.2-High的下降最为显著（~15-20%），说明这些模型可能过度依赖时间锚定线索。第八，测试时扩展实验（Finance子集）显示：pass@k随k增大呈对数增长，但pass^k趋向于零，说明多次采样提高了一次命中的概率但降低了输出的一致性。最后，Pareto前沿分析表明Search Agent的经济价值远高于同基座模型，且推理成本与经济价值之间存在明显的帕累托最优边界。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Global Overall Performance | Expert Score (%) | Claude-Opus-4.6 (Search): 63.0% | GPT-5.4-High (Search): 59.2% | Claude-Opus-4.6领先3.8个百分点 |
| Global Overall Performance | Pass Rate (%) | Claude-Opus-4.6 (Search): 43.5% | GPT-5.4-High (Search): 38.0% | Claude-Opus-4.6领先5.5个百分点 |
| Global Overall Performance | Economic Value ($USD) | Claude-Opus-4.6 (Search): $483.8k | GPT-5.4-High (Search): $365.5k | Claude-Opus-4.6高出$118.3k |
| CN Overall Performance | Expert Score (%) | Claude-Opus-4.6 (Search): 64.5% | GPT-5.4-High (Search): 58.7% | Claude-Opus-4.6领先5.8个百分点 |
| Global Factual Information | Expert Score (%) | Claude-Opus-4.6 (Search): 66.5% | GPT-5.4-High (Search): 63.5% | Claude-Opus-4.6领先3.0个百分点 |
| Global Analytical Reasoning | Expert Score (%) | Claude-Opus-4.6 (Search): 73.0% | GPT-5.4-High (Search): 61.6% | Claude-Opus-4.6领先11.4个百分点 |
| Deep Research Agent Best | Expert Score (%) | o3-DeepResearch: 46.3% | Claude-Opus-4.6 (Search): 63.0% | Claude-Opus-4.6 (Search)大幅领先16.7个百分点 |
局限与改进
本文存在以下局限性。首先，评测的可靠性依赖于LM-as-a-judge的能力。虽然敏感性分析表明不同评判模型间的排序保持一致，但绝对分数差异可达约8%（如GPT-5.2-High作为最严格的评判者与GLM-5作为最宽松的评判者之间的差距），且评判模型自身的归纳偏见可能偏好某些回答风格。其次，Rubric虽然由专家手工设计并经过同行评审，但其客观性仍不如等式检查器或数值验证器，本质上仍依赖评判模型的理解和判断能力。第三，评测成本较高：评估过程涉及输入token、输出token、工具调用、缓存token和基础设施成本，且设置了1.2倍的缩放系数以应对重试和速率限制处理，这对资源有限的研究团队构成了一定的准入门槛。第四，虽然基准覆盖了5个宏观领域和92个三级类别，但仍有大量高价值领域（如能源、气候科学、公共政策等）未被覆盖。第五，当前的Rubric评分完全依赖手动设计，难以规模化扩展——未来需要开发更先进的自动化评估机制来对推理链、证据引用和合规检查等中间步骤进行自动评分。最后，时间敏感性实验表明模型在处理时变信息时表现下降，而基准中的部分任务可能随时间推移变得不再准确，这需要建立动态更新机制。
独立分析的弱点
从独立分析的角度，$OneMillion-Bench存在以下几个值得关注的弱点。第一，经济价值估算的假设过于简化：计算公式为专家时间×时薪，但不同专家完成同一任务的时间可能差异显著，且时薪数据（美国OEWS、中国一线城市工资指导线）可能无法准确反映特定细分领域（如量子物理 vs 普通内科）的真实薪酬水平。改进方向是引入更细粒度的薪酬数据来源，并采用蒙特卡洛模拟来量化估算的不确定性区间。第二，Rubric的跨语言一致性未得到充分验证：虽然CN和Global子集分别设计，但同一领域在不同语言下的Rubric权重和评分标准是否等价尚不清楚。一个Finance任务的CN版本和Global版本可能因为法规差异导致难度不同，这会影响跨语言比较的公平性。改进方向是对同一领域的跨语言Rubric进行系统性的难度校准。第三，评测的"静态性"限制了其长期价值：专业领域的知识和法规会随时间更新（如2024年发布的最高法指导性案例第226号），但基准中的Rubric和参考答案是固定时间点的快照。改进方向是建立定期更新机制，对时间敏感的任务进行标记和更新。第四，Search Agent的评测依赖特定的搜索工具和搜索引擎，不同工具的质量差异可能引入混淆变量。实验中官方scaffold普遍优于OpenRouter，但这种差异可能掩盖了模型本身的能力差异。改进方向是标准化搜索工具接口或提供多个搜索后端的对比数据。
未来方向
作者在讨论部分提出了几个重要的未来方向。第一是领域扩展：当前基准仅覆盖5个领域，未来可以逐步纳入能源、气候科学、公共政策等更多垂直领域，并进一步细化子领域以增强基准的全面性和粒度。第二是动态基准建设：构建一个实时演进的评测系统，通过集成实时或频繁更新的信息来反映真实专业知识的动态特性，避免基准随时间退化。第三是自动化细粒度过程评估：虽然当前的Rubric通过严格指南和人工审核提高了可靠性，但完全依赖手动评分难以规模化。未来研究可以开发更先进的自动化评估机制，如基于规则或学习的方法来自动评分推理链、证据引用和合规检查等中间步骤。从本文成果可延伸的方向还包括：(1)将经济价值框架应用于其他基准，建立跨基准的"经济价值"统一比较体系；(2)利用Negative Rubrics机制的洞察来改进智能体的训练——通过RLHF等方法让模型学会避免严重的专业违规行为；(3)基于Test-time Scaling实验的发现，开发更智能的采样和聚合策略，解决pass^k趋向于零的一致性问题；(4)将评测扩展到更多语言和文化背景，测试智能体在全球范围内的本地化专业能力。
复现评估
从复现角度来看，$OneMillion-Bench的复现面临几个关键挑战。首先，数据集本身：论文提供了详细的数据构建流程（三阶段标注流水线）和数据统计信息（400道题、5个领域、37个子领域），但未明确说明数据集是否开源以及获取方式。任务示例在附录中给出（如金融、法律、医疗、自然科学和工业各一个完整案例），但完整数据集的公开状态需要进一步确认。其次，评测框架：论文使用了Rubric-based的Expert Score机制，评分由LM-as-a-judge（GPT-5.2-High作为主要评判模型）执行，但评判prompt的具体内容仅在附录中给出了简化的格式要求，完整的评判系统提示词可能需要联系作者获取。第三，模型评测：论文评测了35个模型，采样参数在Table 6中详细列出（如Temperature=0、max new tokens从32,768到262,144不等），这些参数可以在OpenRouter、各模型官方API上复现。评测成本方面，论文给出了成本估算公式，但未披露具体的总评测成本。最后，复现难度评估：数据构建阶段需要大量领域专家投入（超过2000个专家小时），这对普通研究团队来说是一个重大障碍；但评测阶段的复现相对可行——只要有API访问权限和足够的计算预算，可以对公开模型重新运行评测。整体复现难度为中等偏高。
论文图表
展示了经济学与金融、法律、医疗健康三个领域的完整任务示例，包括背景描述、问题要求和详细的Rubric评分标准（含正向加分和负向扣分）。每个示例展示了不同权重和标签的Rubric设计。
让读者直观理解任务的难度、专业性和Rubric的具体设计，是理解评测机制的最重要参考。